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俄译本校订者序 


传统的线性代数课本和参考书都很少涉及应用，而计算数学中 
一 b 方法元例外地都以线性代数为基础，汰这个意义上，可 以说线 
性代数是完全的应用学科。 

本书是著名美国数学家斯特让 （ G . Strang ) 根据他在麻省理工 
学院所用许义写成的。他的讲义尤分考虑了线性代数的应用性赝，在 
内容的选择和讲法上都与 i 专純方式有实质性的不同„例如，高斯消 
去法，正定矩阵，线性规划都各辟为单蚀的一幸，而线性变换和矩 
阵的约当标准肜又只作为简短的附敢，书中也讲了向量在子空间上 
的正交射影和有限元方法.当前，有限元方法是数理方程近似解法 
的基各工具.有专门的一章讲矩阵什算和线性方程组的迭代解法. 
送代解法在计算数学中起着重要的作用 a 

每章都有着大量的例题和习题，用来培养和提高读者解应用题 
㈡ 习 惯和能力， 

本书文宇权迷充分，适用范围广泛》对数学应用工作者，对综 
合性大学和工科院校中很多专业的研究生，大学生都适用，线性代 
数师不仗会感兴超于它的讲法，更会感兴趣于它所实现的理论与 
应用的结合. 


r.M.Map-iyK 



中译者的话 


G . Strang 编著的《线性代数及其应用》十年前问世以来，拫快 
就受到各国数学工作者及广大科技人员的重视.出版不久就被译成 
伖、日等文字出版.苏联著名的数学家•计算数学权 4 r , Mfc 
还专门为依译本写了 序言. 在1980年美国 5 L 犮行了第二版， 

这本书是作者在庥省理工学院多年所用的讲稿的基础上撰写 
的.它之所以被广为重视，其重要原3是在很大程度上突破了线性 
代数的传统讲法，作者力图将线性代数的抽象性与其应用性有机地. 
结合起来，既保持了娌论上的严谨，又尽可能早地介绍有关理论的 
应用，并精选了 一批有关其它数学以及物茂和经济等领城的例子 • 
这就不忟使数学工作者更多地了解线性代数的应啊，而且也为广大 
从事实际工作的科技人员和管理人员能更诀灵好地应用 S 性代数 
提供了一本极好的教材， 

为了使本教材适用各个方面不同水乎的读者，本书在讲法上也 
做了新的尝试。努力用语言讲清数学思想之真谛，而避免过多的形 
式逻辑的推导，并把一部份比较更抽象但也是很重要的理论放在附 
录中去讲，这蛘做不仅保证理论体系的完整，也为不同专业在选材 
上提供了方便. 

基于上述理由，我们觉得将这样一本有价值的教材介绍给我国 
读者是很有必要的。特别是近20多年以来，由于电子计算机的飞速发 
展和广泛应用.线性代数巳成为越来越多的科技工作者必不 可少的 
数学工具，我们相信这本书在这方面必将对大家有所帮助„ 

本书第 I . 2 , 4 幸和序由张延伦，第 8 幸由郑忡三译，第3、5牵 
和附录由侯自新译，侯自新并负责全文的通校. 

由于我们水乎有限，译文难免有误，敬请读者指正. 
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现行线性代数课本都过于抽象，这种看法也许武断了些，但我 
确信线性代数课本应该既能讲清楚该学科的基本理论，又能表明该 
学科具有如同微积分一样的基础作用和实用价值， 

当然，线性代数课本现状的形成是有它的道理的，也即由于这 
一入门学科立论的准蒱和证明的严格。我充分地意识到了这两点， 
并力求在我们的教学中一丝不苟地保持它。我在麻省理工学院所试 
行的教法表明，线诖代数还具有另外一个同样重要的特点，这就是它 
不只允许，而且是更为适于将数学的两大因素一抽象和应用结合 
起来- 

目前多数的学生，特别是非数学系的学生，根本不学这门课， 
而学这门课的学生也只在抽象的方面绞脑汁，却并不接触应用，结 
果是，甚至我们那些最好的学生也只在抽象的方面拿手，而在计算 
方面却十分蹩脚。例如，解残性方程组，他们用克莱姆规则，对特 
征值他们只知道那是特征方程的根。这种情况要求我们教学要实用 
些，开阔些. 

我希望把线性代数写成为不同方面不同水平的学生都能用.这 
不是说要把它写成食谱，而是说不把注意力只集中在线性代数自身 
的严格上，而是更多地注意饼解，也即更注重的是解释而不是推 
导。 一些定义是按传统方式給出来的，而有些则是在讨论过程中形 
成的，同样地，一些证明是按部就班严格进行的，但不都是这样， 
不管怎 么样，基本理论我们都是重视的，它是核心，只是有时用例 
子来导出它，并用例子来加深对它的理解. 

讲线性代数课首先遇到的难点是怎么开头。学这门课程的大多 
数学生，都不间程度地学过线性方程组。尽管这样，我们相信本课 
还是应该从 n 个未知数 n 个方程这一基本问题开始，从最简单最实 



用的高斯消去法（不是行列 式法！ ) 开姶。 好在，这一虽是筒单的 
方法中却包含着一些对儿乎每一个学生来说都是新蝉的，属于线怪 
代数的本质部分的东西。其中最重要的一件是消去法等价于矩阵因 
式分解，即等价于将系数矩阵变换为三角阵的乘积„由此可以自然 
地导出矩阵记号和矩阵乘法。 

再一个难点是如何挲握 进度。 如果矩阵计算是已经熟悉了的， 
那么，第一章就不应该太慢，第二章是要求下功夫的章，这一章的 
目标是对方程 b 有透彻的、比从湞去法得到的有更加深入的理 
解。这一車引入了 A 的行空间.列空间'它们的正交补和两个化零空 
间.这四种基本子空间的引入，对于得到线性相关和线性无关的例 
子，以及对于基底、维数和秩的解释都是行之有效的方式.当然这 
四种子空间也是理解 A ; c = b 的得力工具，正交化是大寒熟悉的三维 
空间几何向 n 维的自然推广 t 

第1〜5章是线性代数课程的基本内容，这几章中有着大量的应 
用，这些应用涉及物理，工程、概率与统计，经济和生物等多方 
面（还有对甲烷分子结构和心理学上因子分析的应用，这两科应 
用是我的麻省理工学院同事们所绝对不讲的），当然，本书不可能 
讲到矩阵的所有应用 • 它只是一本线性代数的入门教 科书， 讲到所 
有的应用，这也不是我们的目标，我们的目标是为应用做好准备， 
而且只是为应用在理论方面作好准备。 

应用所需理论，本书中是齐备了 4 第2章讲过向量空间之后， 

第 3 章汫射影和内积，笫 4 章讲行列式，笫5章讲特征值。我们希 
望工程师和其他一些对应用感兴趣的读者特别地细读第 5 章。这— 
章中集中讲了对角化的应用，其中包括谱定理，只是把约当标准形 
分了出来，安排在附录中„前五章， 每一章 的最后都有一组复习 
题， 每一章 的最后一节都是机动的*讲广义逆矩阵的§ 3 .4也是用 
做机动的。用来作为一个学期或半个学期课程时，第6章（正定矩 
阵）或第 8 章 （ 线性规划）是否要讲，得由教蚵视具体情况而定 s 
§ 8 .1和 §8. 4 分别是对线性规划和对策论的一个简短而有益的介 
• 2 * 



l _- •为基砘浅性代数教材的本书，可以从中怕出三种完全不同的 
纹材糸^ —种是苎值线性代数，这包括第1章的全部、笫 2 〜 ■ e 章 
的基本沟容 . 讲-卄.城的第 7 章和讲单纯形法的§ 8.2, 再一种是"统 
计 a 性代数，应该细讲第 3. 6两章，第三种是把不等式视为方 
程的那些学科， 扣&济 学方面的教衬，此时应该尽快地从 >U = b 过 
渡到戎性规划和对阐挡„ 

我们期望着讲授基础线性代数的同行们乐于采用本书，编写本 
书的报本意围也正在于此.希望他们不会因为，特别是在第1章中出 
現的一些计算数学用语.诸如■•计算次数”等而将本书弃置不顾。 
从实用角変看，计算数学的这荇知识无疑是重要的。即使从理论角 
度看，这种知识也非无足轻重„例如.对运算次数的计算可以加深 
对消去法过程的实际掌握，我每教本课，郃在第一或第二次的课堂 
上正式要学生计算消去法约运算次数，关于运算次数等这样一些面 
对计算机的概念课堂上无苒迸行讨论，任7 —本教科书都应该由讲 
义总结而成，也都应该有讲义作补充. 

总之，爵要一本结合应用杀成功地讲授基本 理论的 教科书。我 
们努力完成的就是这样一本书. 

本书的出版，多承 Tom Slobko 鼓励 . Ursula 为本书打字，我 
的家庭为我提供条件，谨在此一并深表谢意.谨把此书奉献给我报 
答不尽的双亲，他们对此书的贡献最大，感谢他们。 


G .Strang 


'^权据依译本， TIT 进作茳提供的网络内 容——译 者江。 
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第一章高斯消去法 


§1.1 引 言 

线性代数的核心问题是解联立线性方 程组。 未知数的个数与方 
程的个数相等的联立方程组，是最重要的，也是最简单的，我们就 
从这样的联立方程组讲起„ 


解联立方程组 t 较为初等的课本中有不同的两种方法 5 —神是 
消去法：先消去第一个方程以外各方程中的第一个未知数。办法是 
从这以外的每一个方程中减去第一个方程的适当倍数。这样我们就 
得到一个《—1个未知数、个方程的方程组„对新得到的变小了 
的方程组再应用刚才的办法。重复下*,直至得到一个未知数一个 
方程的方程组，它的解就立即可以写出了 5 用反向代入的回推方 
法，不难求出所有的未知数。 i 文内，我们举一个应用消去法的例 
子.另一种方法，更为理论一些，要用到行列式，得到的是精确 
解，是两个 n 阶行列式的比。称这个比为 Cramer (克莱姆)规则。从 
—般教科书上所举的例子（人们应用 Cramei •规则的上隈是或; t 
= 4 )中，看不出两种方法哪一种更好. 

事实上，对数值大的《 . Cramei •规则不可能实际应用。而对实 
际中遇到的方程组，即使 h 够大，消去法也可以求出它的解来。消 
去法是一种算法，我们的第一件事是讲这个算法.一般地，称这个 
算法为 Gauss (髙斯）消去法。 

' G auss 消去法很是简单,读若可能已经熟悉了。但有比消去法本 
身更为重要的四点。本章要讲的正是消去法本身和这四点.这四点 
■是： 

(J ) 消去法可以解释为系数矩阵的闼式分解。我们引进联立方 
程组的矩阵表; K , 即记 it 个 未知数为向量 x ,记 n 个常数为向量 



b , 记全体系数为矩阵 A , 则联立方程组可记为 / U = b a 在这样的 
表示方 法之下 .消去法就相当于把矩阵 A 分解为下三角矩阵 L 和上 
三角矩阵 C 7 的乘积 LU 。 这是莊本的，也是很有用的一点， 

当然）我们将要系统地讲向 M 和矩阵，以及它们的乘法。还将 
要定义矩阵 A 的转置矩阵•和逆矩阵 A — 1 。 

(2) 在大多数情况下，消去法都可以原样应用，不产生任何困 
难就可以得到方程组的解.有两种情况例外。一种是方程在组中的 
次序要变动，变动之后可以得到方程组 的解： 另一种是方程组 
没有唯一解.此时可以是无解，可以是有无穷多解 s 消去法 
本身可以判断出是无解，还是有无穷多解， 

(3 ) 用消去法解方程组时，对所需的算术运算次数很冇必要有 
—个估计。在许多实际问题中，所引进的未知数的个数都是由数学 
模型的准确程度和运算次数共同决定的 a 

(4 ) 我们还将直观地考察一下舍入误差对解 X 的影响是否显 
著。対影响显著的问题，就应设法控制舍入误差》电子计算机每次 
运算都把结果舍入成固定的位数.对影响显著的问题，如不适当控 
制舍入误差，那么经过千次，万次.甚至几万次运算，所得到的解 
会是完全无意义的。 

本章要求读者掌握消去法，它行之有效，在实际中应用广泛。 
我们是借助矩阵来讲消去法的。矩阵是所讲理论的基础。我们用到 
了系数矩阵，消去步猓的矩阵表示，行交换的矩阵表示，以及三角 
矩阵因子等， 

§1.2 Gauss 消去法举例 

我们通过例子来讲这一方法。先看一个三维方程组 

2u+ ^ + vv= I 

4 u + v = _ 2 ( 1 ) 

— 2 u + 2 v + \ v ~ 7 



我们用 Gauss 消去法 （ G auSS 被认为是最伟大的数学家，当然不是 
因为这个可能只用了他几分钟的消去法。但幽默的是， G aU ss 的名 
宇因这个方法被提到的次数却最多）来求未知数 u 和 w 的值， 
做法是从第二、三两个方程中减去第一个方程的适当倍数，使得第 
二、三两个方程中的《被消去，也即 

(a ) 从第二个方程中减去第一个的 2 倍， 

(&)从珩三个方程中减去第一个的 一 I 倍. 

结果得到等价方程组 

2u+ W+ W= 1 

― U — 2W= 一 4 ( 2 ) 

3e ，+ 2 iv= 8 

第一个方程中《的系数 2 称为消去法第一步的主元素。 

消去法第二步不考虑第一个方程，剩下的是含有来知数 w 
的两个 方程。 对这两个方程我们照第一涉再迸行消去1这一步的主 
元是一〗。要从其余的方程中减去这第二个方程的倍数（这里其余 
的方程只有第三个方程一个），以消去。 4 也即 

( C ) 从第三个方程中减去第二个的_ 3 倍。 •■正 向”消 去已经 
完成，结果得到一个化简了的方程 m 
2u + v+ w= i 

— v — 2w=— 4 ( 3 ) 

一 4\v== 一 4 

该方程组的解法是明显的，由最后一个方程得 w = I ;代1入 
第二个方程得 U = 2;代 W = l , = 2入第一个方程得 
称 这个代入过程为反向 代入。 

上述东解过程不难推广到 n 个未知数 M 个方程的情形， n 多大 
都可以.第一步利用第一个方程的倍数消去第一个主元素正下方的, 
所冇系数> 第二步消去第二列中第二个主元素正下方的所有系数、 
类椎。最后得到含有一个未知数的--个方程，反向代入按反次序得 
到答案.即最先得到最后一个未 知数. 再得到倒数第二个，最后得 


* 3 • 



到第一个未知数， 

练习1,2.〗用消去和反向代入解方©组 
2u—Zv — 3 
4u — 十 w— 7 
2u— u— 3lv— 5 

写出主元素，列出从艿佘的行中减去一行倍数的三个运算_ 

练习 1.2, 2解方程组 

2u— v =0 

— w+2y— *iv =0 

— v + 2 w — z — 0 

-- \ v +2 z t=l 5 

我们问两个问题.可能是问得早了一些，这里我们是刚刚接触 
到这个消去法 a 但是对这两个问题的网 n 会使我们对消去法本身有 
更进一步的理解，第一个问题是，用消去法一定能得到方程组的解 
吗彡在什么条件下消去法行 不通？ 回答是，如果主元素都不为零， 

仰 i 方程组有唯一解，并可用正向消去和反向代入求得。遇到主元素 
为零，则消去法不能进行《 

例如，第一个主元素为零，那就不能用第一个方程消去其它方 
程中的别的主元素为零时，情况也类似。我们指出，即使构成 
主元素的系数在原方程中本来不为零，经过消去法的一步或几歩之 
后也可能遇到为零的主元素 （ 练习 1.2. 3中就是此情形 ） a 粗略地 
说，不到消去法进行到最后一步，我们间答不了主元素是不是都不 
为零 。 

遇到主元素为零时，在多数情况下，经过调整，仍然可以用消 
去法求得方裎组的唯一解。当然，方程组无解或者有无穷多解时， 
消去法肯定是不能进行到底的„ 

不能进行到底的问题，我们把它留到后面再加以分析. 

第二个问题很实阽，事实上它是关于算题费用的，这第二个问 
题是： 用消去法解《个未知致《个方程的方程组，需进行多少次算 




术 运算？ 如果《很大，那就 必须由 计算机来完成消去法（你可以利 
现成的消去法程序，或者你可以自己编一个），由于步骤是事先 
知逬的，因而也就能够事先算出所需的机器时间。我们先不管方程 
组的右端部分，只对左端所需的计算次数进行估算.这里的返箅有 
两类，一类是除法，用来确定从主元下面的方程中应减去主元所在 
方程的倍数（比如！倍） D 在进行两个方稈相减时，要做的是"先 
乘后减”，即先用 I 乘主元所在方程，再从主元下面的方程中减去 
乘上了 I 的主元听在方程。 

我们约定把每一个除法和每一个“先乘后减”都叫做一次运 
算。第一步时，第一个方程的松度足每消去笫一列的一个元 
素，要做 ™ 次运算（求倍数 I — 次.算出被消去元素所在行的新元 
柰《_1 次）. 第一行下面共行，要消去的元素是 rt _ l 个•因 
而，消去法第一步要进行1)=«* — n 次运算。完成了第一歩， 
第一行第一列可以先不管。进行第二步时，方程和未知数的个数都 
是接下去每做一步方程和未知数的个数都减 ） ，运算次数也 
随之减小。到剩下 fc 个未知数 fc 个方秤时，消去主元素正下方元素 
所需的运算次数是 fc ( fc _】）= fc 2 — t 。 理由跟第一步，即 fc = n 时一 
样 . 因而方程组左边部分所需的算术运算总次数为 
P=(n 2 —re) + ..- +(fc 2 —fc) + …+ (】 2 — 1) 0 
(注意*最后一步，即一个未知数一个方程时，不需进行计算， 
> 3 -1=0 ). 我们来算出和数 P 




+4~)o +1 ) 


^ _+中 +1) — «子. 

(可以用微积分来检验所得结果。 V 的从0到 fi 的积分为 n */3, X 
的从0到1的积分为怡足两个和兮下结果的主项 ） •如果 n 
够大， 那么 P 就是运算次数的一个很好的估 计量. 

反向代入所需运算次数的计算要容菇得多 5 求最后—个未知数 
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所潘运算次数为 i (用最后一个主元素去除），或倒数第二个未知 
数所笛运算次数为 2 (—个先乘后减一个除）.类推 t 求倒数第 fc 
个未知数所需运算次数为 fc 。因而反向代入所耑总运算次数力 



人们 t 经认为求得的这两个数就是最好的了，即求解一般的 fj 阶方 
程组所需的乘法运算的次数不可能少于 / i s /3, 不久以前，数学家们 
还几乎都这么猜测 （ 甚至有定理对这一点加以证明。但这些定理只 
涉及某些方法令大家震惊的是，这个猜测被证明是错的。人 
们栈到了一种方法，它只耑要 7 次运算！对消去法来说，上 
述常数 C 是大的，且所需进行的加法次数要很多，计算机裎序又太 
复杂，因而新方法的 蚩大意 义还只是理论上的，实跋上代替不了消 
去法 • 指数能否减小，人们似乎还一无所知， 

鲦习 1.2. 3试用消去法解方程组 

U - {- u + — 2 

+ w 二 6 

t / 一 y+ w= — j 

遇到为零主元素时，请将它所在方裎与下面的方程对调。然后继续 
进行消去 。问： 第三个方程中《的系数一]换为什么数，消去法将 
不能进行. 

练习}.2.4 »=£时试列出用消去法解方桎组 
au+bv= 0 


cu-\-dv= \ 

时，对左端所进行的运算， 

嫌习 1.2. 5设解线性方程组所耑运算次数为 rt »/3, 计算机的 
速度为每秒一百万次，收费标准为每小时1000元，试问化1元钱可 
以解多大的方程组，化1000元可以解多大的方程组？ 

练习 1.2.6( 非必做题）两个复数相乘，通常是 

(a+ i‘b) (c 十 fd) 匕 （ac — bd ) 十 i(fcc 十 ad) 



包含四个乘法运算 ac, be, 不计 i , 试问能否用 H 个乘法 

算出量 aC —bd 和 bc + M, (进行乘法之外，可以进行诸如 (J + & 这样 
的运算，而不计入运算次殽 ） d 
练习 1.2. 7试用消去法解 

u+ v+ 6 
U+2v + 2w= 11 
2v+3v — 4w=^o. 

§ i . s 矩阵和矩阵乘法 


前而，我们处理的®大的方稈组是3 X 3的.我们可以照原样 
把方 程组写 出来，甚 M 可以把消去法的每一步也详细写出来。把为 
化简方程组而从一个方程减去另一个方程的倍数称为一步。对大的 
方程组，要详细地把消去法的步骤写出来说不可能了，需要简单的 
记号 • 我们将用矩阵来描述方程组，用矩阵乘法来描述化简方程组 
的运筇. 

下例中 


2u+ u 十 u，= 1 
4u+ v — 2 

— 2u+2v + w= T 

有三种不靣类型的: K 。 一类是未知数 M , W : 再一类是右端的 

1.-2. 7 ; 最后是左端的九个系数（此处，它们中间有一个为 
零）.对右端的一列数 （ 方程的非齐次项）我们引进向量符号来记 
它 


这是一个三维列向跫。几何上用三维空间中的点表示三维向量，取 
它的三个分量作为三维空间屮一个点的坐标。三维空间中的每一个 


点都对应: r 一个三维向 fi( 可以形象地用一个_箭号或一个线段来表 
示，起点在坐标原点，终点在它跅对应的点处 K 

向量的基本运算是两个叫萤相加和纯 蜇乘向 量。几何上，向量 
2b 的方向与1?相卩 il, k 度是 b 的 2 倍； 向 M —2b 的方向与 b 相反； 把 
向量 c 的始点移到向 Mi) 的终点上，那么以 b 的始点为始点，以 c 的 
终点为终点的向量就是 + 代数上，这意味着向 H 的运算是对分 
量进行的 5 



两个向量只在它们的维数，也即分量个数相同时才能相加。 

方程组中的二个未知数也可以用向量表示 

« r— 1 ' 

未知数为 ？ y ;解为 x = 2 . 

_ w J !_ i — 

这两个向 M 也是三维向量。对摆定了位 s 的九个系数我们引进一个 
三行三列 11 矩阵”，称它为系数矩阵。 



我们指出，由于我们的例子中方程的个数与未知数的个数相同，都 
是三个，芮而 A 是一个三阶方阵，一般地，对 n 个方程 n 个未知数 
的方裎钽，冇 n 阶系数方阵 5 更一般地，对 m 个方程 n 个未知数的 
方程组，我们有矩形的系数矩阵 （ 行数为 m 列数为 n ) ,也称为 
m y n 矩阵 n 

矩阵也可以相加或乘上一个纯量常也与向 tt — 样，运箅是 



对元素进行的。衷实上，我们可以把向*薺成矩阵的特殊情形。列 
向 M 见列敖为】的矩阵。与叫蜇一样，矩阵只在行数列数都相同时 


才能 相加： 


矩阵与向量栢乘 


现在我们就来应用上面引进的符号 . 三个方稈三个未知数的方 
程组 （1), 周矩阵和向量符号写出来就是钯元素都写出 
来，就是 

右端是非齐次项所成的列向左端菇向: fee 左乘以矩阵 A . 显 
然，这个乘法应该使我们回到原方程组 （ 1 ). 因而乘积 Ax 的第~ 
个分量应该是 A 的第一行乘上列向量 x 

(2 I 1 j v j=(2u+ +w). (O 



让它等于 b 的第一个分量，得十1 ,正是组 （1) 的第一个 
方程。 乘积 Ax 的第二个分量相+ 口由力的第二行决定，第三个分量 
_ 2 w+2t/+w 由 A 的第三行决定，这样矩阵方程儿 < =b 就确实地等 
价于方程组（】入 

( 4 ) 中的运算是矩陴乘法的基础.该运算规定行向量与一个维 
数相同的列向量相乘，乘积是一个数。称这一个数为这两个向置的 
内积、 数积，或点积„换句话说，1 X «• 矩阵（行 向量〉 与 nx 1 
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矩阵 （ 列向量）的乘积是一个 ；X 1矩阵„ 


(Qi ^ HCaibi 1- 十…十 a,tO. 

L 匕 J 

例 

3 ' 

C 2 4 n - j =c n. 

. 0 _ 

矩阵与向量相乘的规则，可以直接从我们讨论过的三维情形推广到 
—般的《维情形，向量的分量个数必须也楚 R ,即必须等于矩阵 A 
的行数.用宇母表示 A 和 x 的元素，则乘积 



卜-•…丨 i ; 

1 - 0,, a,j … a, 」 

' 0i iX； ■+ ■•■ + a l ,x, - 
_ a s t x + •■• + a 2 . x , 

~ : +■*■+ : * 

<7n^ X t 」 

注意，我们记矩阵的元素为 a, >f 前一个下标为元素所在行的行 
数，后一个下标为元素所在列的列数. a,, 遒第 i 行第？列处的元 ; 
素.我们可用求和符号 


S 0 ‘ 内 
i -1 

表汞 Ax 的第 i 个分量.用求和符号比直接写出要简单，但不如用 
矩阵符号简单 t 

例 


. 10 • 



f (2 )0)+( s )(5) ] f 17 ] 

叫⑷⑴十⑷⑴ J . (5> 

我们看到， Ax 实际上是 A 的两列的线性组合，每一列都乘上了的 
对应分里。换句话说，可以按 r 述方式算出 ax 的元素 

⑴七 KUI … 

这一规则将用于全书，因而我们再重复一遍：我们可以如 （5) 那样 
利用 A 的单个元素，也可以照下面这样利用 A 的列来求 Ax 

— ^ : -of r - 


积 Ax 是 A 的列的线性组合，在我们的例子中这线性组合等于 


— 2 ,从而 


是 Ax 的解。 

练习彳 .3.1 先用 A 的单个元素再利用 d 的整列计箅乘积 
| 4 0 1 _ 

Ax=\ 0 1 0 

L 4 0 1 

练习彳 .3. 2试计算乘积 


Ax - 


r 1 T 

和〔— 

，一 L 


3 ) 


3-3 
0 4 

L 0 1 

如杲 A 是 WXrt 矩陴， x 是 n 維向量，试问乘积的行数列数各为 




几？ 


练习 1.3. 3肢定某年年初 与年末 相比较 
(a ) 原来仵在美 W 加州的人中 SO 物留在加州， 2 0哚迁出加州， 
( b ) 原来住炎国国内加州以外的人屮 S 0势仍留在加州以外， 
10够迁入加州， 


试根据以上两条将下列问题用“矩阵形式”裘迖出来，并求 
解. 


( i ) 年初美国加州内外人数分别为30和200 ( 单位百万，下同）， 

问年末州内州外人数各若干？ ‘ 

(ii) 年末州内州外人数分別为 30 和 2 00, 问年初州内州外人数 
各若干？ 

( iii ) 问年初人口是怎祥一种分布时，年末人口分布不变，换 

句话说，要求年末时州内外人 ns u 与年初时相同，年初时 w 

和 u 应是多少？ 

练习 1.3. 4 M 出互相垂直的两根轴.也即建立一个坐标系。 
先标出点 x = 2, 和 0, y =3, 再画出从原点到这两点的向 

■ a , 最后画出这两个向量的和，并补全平行四边形。 

对习题 I . 3 . 3 我们做两点说明，一点是强调一下问题的线性 
性.如果人数加倍成卯， 400 , 职么答敛也加倍；如果对人数40, 
25 <)求出解，那么人数为70( = :0 + 40), .150( = 200 + 250) 时的 解洽 
好是人数为30, 200^1140, 250这 M 种情况下解的和。 

第二点说明迓关于题中 （i 0。 （ ii ) 耍求我们算出美国加州内外年 
初的人数《和应该列出两个方程 s 你大概会先列出年末时州内 
人数应满足的方程 □ . S «+. h = 3 0, 再列出年末州外人数应满足的 
方程 . 2 u +. Sp = 2 00„ 第二点说明足，可以利用同时涉及两个方程 
的“时间列” „目的是求出年初的人口数„使得年末时州内外人 U 
数所成向噩为 b 二州内年初尺 U 数 W , 年末分住蜊内外情形 
为州外年初人口数^年末分住州内外愤形为卜这两个 
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向量的和应为 fc , 即 



这样我们的问题就成了求出左端两列的权《 和〃， 使得左端等于右 
端向量 ( m ) 是求出权《和《,使得左端等于权本良也 
即年末时州内外人口数同于年初。 

消去法运算的矩阵表示 

对线性方程组我们有了简单的记法对消去法运算有没 
有简单记法呢？在所举的例子中，第一步是从第二个方程中减去第 
一个的两倍，在右端也就是从第二个分董中减去第一个的两倍.我 
们指对右端的这一运算等于用矩阵 

■ 1 0 0 | 

E= -2 1 0 

.00 1 j 

去乘向 量1 可以根据矩阵与向量相乘的法则进行验证， 

J 0 0 | 

Eb= — 2 ) 0 

, 0 0 1 J 

第一、三两个分童1和7不变（这是由 E 中我们所选定的 一. 三两 
行所决定的）.第二个分董 成了一 与消去法第一步之后方程 (2) 
中第二个分量相同。 

为保持方程组两端相等，>^的左端也应左乘上矩阵这一 
乘法对左端的作用是从第二个分量减去第一个的两倍，第 一 ，三两 
个分量不变。经过这一步之后，方程组变成了 = 它与康 
方程等价，但简单了 一些。 说它简单了一些，是因为第一个主元索 
下方的那个元素变成了零.说它与原方程等价，是因为把第一个方 
裎的 2 倍加到第二个方程上去就恢复为原方程，因而新旧方程组有 
相同的解这也是高斯消去法可以痺用的理由。经过正向 消去之 
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后，解不变，但却可以用反向代入法很容易地求出 8 


矩阵乘法 


现在我们耍 问： 新方程 E ( A >：) = _^ 的系数矩阵是什么？用左乘 
以矩阵 E 表示的消去法筇一步运把系数矩阵 
2 1 I ' 

A — 4 1 0 

2 2 1 _ 

变成了新的系数矩阵 

" 2 ] 1 " 

0 - 1-2 . 

-厂2 2 i _ 

诙矩阵与原矩阵相比较，也是第一，三两行照旧，只是从第二行中 
减去了第一行的两倍 。 新的系数矩阵把先用原来的系数矩阵 A 乘 
X ， 科用合并成了一步。称新矩阵为原来两个矩阵的乘积， 
记为注意 EA 中两个矩阵的次序不能颠倒。再萤复一遍： 

U 乘积 EA 是一个矩阵，它相当于先用 A 乘再用£乘，即对每 
—个向量 x 我们都有 

(£：♦ = £ (似） ( 7 ) 

由这一规则我们可以推出图1 . 1 . 和方程 （ 8 ) 中的矩阵乘法法则. 

假定给了任何两个矩阵£和 A . 行数可以不等于列数 ^ 我们怎 
样利用上述规则来计算乘积 EA 呢？ 首先 E 和 A 的行数列数必须使得 
乘法能够进行：如果丑， A 都是方阵，则它们的阶数须相同 t 如果 
E , A 不是方阵，那么 E 的列数必须等于 A 的行数。换句话说，五是 
ixm 矩阵， A 是 mxrt 矩阵时（五的列数等于 A 的行数，都是 m ) 
才能相乘。此时 （7) 式右端由 n 维向量 x 开始， A * 产生 W 维向 
量，最 后五似 的分量个数是 i (我们去掉了中的括号，式 （7) 
的作用正是去掉其左端括号的） . 乘积 EA 的行数同于£,为 I ,列 
数同于 A 为也即 Ixm 矩阵 乘上叩 Xfi 矩阵得 ixn 矩阵 „ 


* U * 


3X4 矩 F¥ 


4XE 矩阵 


J 



我们实际地计算 EA, 方法是每次算出 EA 的一个元素„单个元 
素的计算规 则是： 第 f 行第/列处的元素是丑第 i 行与4第 f 列 
的 内积。 凶 1.1 上画出了 E 的最后一行和 A 的最沿一列上的元素 t 
它们的内积是 EA 最后一行最后一列处的元素. 

( EA ) 31 = Ce 3l e 3t e 3 3 e 3 JJ " 1 


=e 3 1 Oj 2 + e 8 )(13 2 + ‘ fll 2 (8) 

例 1 

[ 2 3 If l 2 0 ]_[* IT 1 0 1 

4 0 儿 5 - 1 0 j —[_ 4 8 0 j, 

例如，元素 17 是五的第一行与 A 的第一列的内积〆 2)(1) + (3)(S): 
元素8是£的第二行与 A 的第二列的内积， （4)(2 ) + (0 )(—1). 
A 的最后一列为零，因而 EA 的最后一列也 为零。 

例2 



这里的 E 使4的两行互抉位置。 

鎬习 1.3, 5试求 E 和 A 的乘积 
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练习 1. S .6 试求 E 和 A 的积 


£ = 



Q 


— 5 



练习 1.3. 7试将 1 X 2 矩阵 E =〔l _4〕与2父1矩阵4 = 

相乘，当 E 是 ixm 矩阵， A 是矩阵时，力得到乘积 EA 所 
需进行的单个乘法为 〖 mtt 个.试说明理由„ 

练习 1.3. 8试将下面的3 X 2矩阵 E 与2 X 1矩阵 A 相乘 


E 



我们指出，最后这一练习实际上是矩阵与叫 M 相乘.它的计算 
规则与 /U 的计算规则是一致的. 

进一步，与 A; (—样，积 EA 也可以按列进行计算 t 例如 EA 的第 
一 列恰是 E 乘上 A 的第一列.再来看下例 



逐列算出乘积，我们得到 

[: ：)(： W ： H ： 
l ： ：][： H ：]- 


这说明了重要的一点 t 的第；列只依赖亍 A 的第 f 列，而与 A 的 

别的列全无关系。进一步，£入的这第；列又是 E 的各列的组合， 
组合的权是4的第；列上的元素 a ,』。 这样，两个矩阵相乘的规则就成 




了前面讲过的矩阵与向 S 相乘规则的推广，只是把那里的一列扩充 
为并排的几列， 

这一点可用于验证矩阵乘法的一条重要性质。假定给了三个矩 
阵 A , S , C , 不一定是方阵„又假定这三个矩阵可以按 B , C 
的次序相乘，也即 A , B 的列数分别等于 C 的行数.这一条重要 
性质是： 


1 B 矩阵乘法满足结 合律： ( AB ) C - A ( BC ) 

如果 C 是一个向量，换句话说，如果 C 是一个只有一列的矩 


阵.那么这条性质就等价于性质 （7 性质 （7) 是矩阵乘法规则的 


基础，如果(^有^列仏 ，…， C ,, 那么我们就只需利用性质 （7 )n 
次. 一方面 ( AB ) C 的第一列是 ( AB ) C w 另一方面 BC 的第一列是 
BC X , 从而 A ( BC ) 的第一列是 由 （7) 知 

同埋其它各列也都满足这一关系. 

缟习 1.3. 9试对下面的 A , B , C 验证结合律 

厂 1 0 0 1 「1001 


A 


B= - 2 


0 


C = 4 1 0 


下面我们要讨论 Gauss 消去法与矩阵乘法的关系，但还有两条 
性质要提一提，一条是矩阵乘法满足的，另一条是不满足的.满足 
的一条是 

1 C 矩阵乘法满足分配律 
【 A ( B + C )= AB + AC f ( B + C ) D = SD+CD 

当然，这里 C 的形状必须一样，以保证它们可以相加；濕， 
D 的形祆必须合乎这里左乘和右乘的要求 t 这一规律的证明叙述起 
来太麻烦。 

矩阵乘法不满足的 一条是 
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ID 矩阵乘法不满足交换律，即一般愦况下 EF 。 
m 肢定£足我们前面所述的矩阵，它的作用是从第二个方裎 
中减去笫一个的两倍 



又假定 F 是在同一个方程组的消去法中最后一步要用到的矩阵，它 
的作用是从第三个方程中减去第二个的_3倍 （ 或把第二个方程的3 
倍加到第三个上去）。 

1 0 0 

F = 0 1 0 . 

0 3 1 

那么我们将 


FE^ 

" 1 0 0 ' 

— 2 i 0 

与 EF = 

' 1 0 0' 

一 2 1 0 


_-6 3 1 ^ 


. 0 3 1 ^ 


比较一下，显然.次序不 M , 得到的积也不同„前一情况下，作用于 
方程组的次序是五先 F 后，作用是先从第二个方程中减去第一个的两 
倍， 再把第二个的三倍加到第一个上去 f 因而 （3.1 ) 处是_ 6 .这 
是消去法的实际作法。后一情况下，作用于方程组的次序蕋 f 先石后„ 
此时第三个方程不受第一个的影响，（ 3 .1)处不是_6,是 O s 因 

单位矩阵 

有—个重要的 „ xn 矩阵，它与任何矩阵相乘时都是可交换 
的。事实上，任何 nxn 矩阵乘上它都不变，它的作用相当吁1。称 
具有这一性质的矩阵为单位矩阵„单位矩阵主对角线上的元素都为 
1 ,主对角线以外的元素都'为零.记单位矩阵为厂 m =4 时 
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易于验证，对任何同阶的矩阵都冇 = 

** 53 1.3.10 试证， 如果矩阵 

H : 0 ] W C ^[ 0 0 ] 

相乘时都可交换，则 A 必为单位矩阵的倍数，即 a = d , b = c =0, 
洱 I 正这样的4与任何2 X 2矩阵相乘时都是可交换的，也即只有这样 
的矩阵才具有这种性质„ 

练习〗 .3.1〗试举出具有下列性质的 2 X 2 矩阵 
(a ) A 2 --/, A 的元素都是实数 ； 

(b ) B 2 = 0 , B 与0; 

{ c ) CB =~ DC , CD ^ O ； 

( d ) HF - O , B , F 的允素全都不为零， 

练习 1.3.12 问下列命题成立赉，不成立的请 举例。 
0)如果£的一' 三两列相同，则的一.三两列也相同。 
( tO 如果 B 的一、三两行相同，则的一、三两行也相同. 
( c ) 如果乂的一，三两行相同，则的 一. 三两行也相同， 

(d )(AB ) 2 = A"B\ 

练习 1.3. 13 AB 的第一行是 B 的所有行的线性组合，问这 
—线性组合的权是什么，试对下面的 A , S 写出 AS 的第一行 



§1,4 Gauss 消去法等价干分解为三角矩阵 

现在我 们从矩阵的角度来看看 Gauss 消去法相当于怎样一回 
事，我们还是从方程组 = h 

" 2 1 1 
A ? c = 4 1 0 

-一 2 — 2 1 
讨论起，对于该方程组消去法的三步是 
( i ) 从第二个方程减去第一个的 2 倍； 

( h ) 从第三个方程减去第一 个的一 〗 倍； 

( iii ) 从第三个方程减去第二个的 一3 倍， 

三步之后得到一个 Y 价的但简化了的方程组。记新的系数矩阵为 
U , 则 



新的系数矩阵中主对角线下面的元素全都零，称这种矩阵为上三角 
矩阵. 

右端的新向量 G 趙 b 经过了变 A 为 [； 的步骤之后的结果。这 
样 G auss 消去法可归结为 
从 A 和 b 幵始； 

依次经过步骤 （ i ), ( ii ), Ciii )； 
ft 终得到 [/和 c 。 

接下去是用反向代入法求出 = c 的解。暂且不管这解，先讨 
论 A 与 C 7 之间的关系. 

前一节我们引进了矩阵五，作用相 St 步骤 （；）， 也即相当于 
从第二行减去第一行的 2 倍.现在我们记 E 为 i ,下标表示用第 
—行去改变第二行，也表示把系数矩阵中 （ 2.〗）处的元素变为零. 
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也即淸去法步骤 （ i )( 从箏二行减去第一行的倍数为 2 ) 可以用乘 
上矩阵 

0 


来实现。类似地我们得到步骤 （ ii ), ( iii ) 可以用乘上矩阵 

" 0 0 1 r I 0 0 

E S1 =~ 0 i 0 . £ a 2 — 0 1 0 

_ I 0 ； J [ 0 3 1 

来实现，我们称这三个矩阵为基本矩阵„菡本矩阵的作用是容易看 
出来的„要 化起到 从第 i 个方程中减去第/个方程 的心 倍的作用，我们 
这样来构 造它： 写出适当阶数的单位矩阵 L 把 J 中第 i 行第/列处的 
元素零换为得到的就是艮 广 注意，基本矩砗都是下三角矩 
阵， II . 其主对角线上的元素全都为1 „ 

三 次矩阵运算把 A 变成了因而 

E 3t E il E ll A=U ( 10 ) 

由于对非齐次项也进行了同样的运算，因而 

EjIJSj iEi if>=c„ (l 1 ) 

我们可以求出三个基本矩阵的积，得到变 A , b 为 t ；, c 的单个矩阵 
0 0 " 

1 0 . (12) 

3 1 , 

求得的这个积也是一个下三角矩阵„这个矩阵在练习 1.3. 6中见过. 
根据结合律，可以先求出三个 S 的积，用得到的积直接与 A 相乘. 
结果跟依次用£去乘一样。我们指出，积中左下角的 一5 在消去过程 
中不 t 出现过：它是 （ i ), ( ii ), ( iii ) 的综合产物 •（ i ), ( iii ) 使 
它为_6, ( ii ) 给它加上1,最后成了 _ 5 。 

我们提出一个要 问题： 从[/怎样回到也即经过了高斯消 
去法的方程怎样还 原？ 





Gauss 消去法单个的一步是不难还原的.比如，从第二个方程减 
去第一个方程2倍的 （ i ) 要还原它的作用，只耑把第一个的2帒加 
到第二个上去就行了 （ 不是第二个的2倍加到笫一个 上去！ ） 这 
样，基本矩阵 Eu 的作用就可以由基本矩阵 ES 1 给还原. 把& ;中的 
— 2 换为2就是 Ei ; 

1 0 0 

£：；= 2 10. 

0 0 : 

Eu 与(次序不拘）的积为单位矩阵„用矩阵的话说，与 
EU 瓦为逆矩阵 a 


EJlBi =/, E z j=1 (13) 

类似地， ( H ), Ciii ) 中的基本矩阵的作用也可以用把减掉的再加间 
去的办法 还原： 

"j 0 a ] r 1 oo" 

0 10, Es*= [)10. 

1 0 0 J l 0 - ：i I 

将消去法每一步，也即分别将 (0, ( it ) Ciii ) 的作用还原的矩阵， 
我们都有了.进一步要问，怎样一次把整个消去过程还原.也就是 
用~个什么样的矩阵能直接把 C ； 变间为我们指出， （ iii ) 是变 A 
为 U 的最后一步，还原变 U 为4时应最先还原这一步，第二步是把 
( ii ) 的作用还最后一步才是把 （i ) 的作用还原（这是一条一般 
的 规律： 将依次进行的若干次运算还原时，应按相反的次序进行. 
我们称这种还原次序为后进先出，关于这一次序，下一节讲逆矩阵 
时还要讲到） • 这还原过程用矩阵写出来就是 

(14) 

将 LT = £, ; E 3 i £ 2 M 代入 （ I 4 ), 由于所有 E “ £ 32 样子的积都是单位 
矩阵，我们看到按（ 34 )中的次序安排 EG , Ei 〗， Eii , 确实把17变回 

现在我们来隶变 U 为 A 的矩阵 L 。 L 应该是（〗4)中三个矩阵的 



积 

因而 A = LU . (15) 

也即应先求出消去法每一步的逆矩阵， L 就是这些逆矩阵的积 a 矩 
阵 L 与变 A 为 (7 的矩阵五互为逆矩阵， 

L = (£ 3 2 I Bi j 1 , £) _ 1 =£3 2五 a i£z 1 . (16) 

计算 1 的公式我们有了，但是关于 L 的 M 重要的事实，须把 L 实际地 
算出来才能看到。 

1 0 0 "jj" 1 0 0 ir 1 0 0 

L = 2 1 0 010 010 

0 0 1 ][— 1 0 1 」L 0 - 3 L 

1 0 0 " 

210. (17) 

一 1 — 3 1 

当然， L 是主对角元素都为]的下三角矩阵，突出的一点是，主对 
角线下面的元素恰恰适消去过界中三 步所用 的倍数2, — 1, — 3 „ —般 
情况下，三个矩阵相乘，不可能根据因子矩阵的元素能写出乘积矩 
阵。但这里的三个矩阵可以，它们按规定的次序相乘时，能立即写 
出答案.可见，倍数 h (从第 i 行减去第 m 的 h 倍，使 （ i , / ) 处 
的元素为零）也趟变 U 为> 1 的矩阵 L 的元素.提酲一句， L 也变(；为 
b ； Lc = b a 

强调一句，~与（〗 2 )中的乘积£ 5 ，五 3i E 21 之间没有这种关系 
该乘积 （3.1) 处的元素为_ 5 . 

练习 14.1 试用 L 乘 （ ！ 2 )中的矩阵，以验证它是 L 的逆矩阵 
厂 1 。注意，能够直接写出的是不是厂 1 , 

得到的矩阵 L 的后进先出次序，对任何阶数的矩阵都适用，每 
—步所减去的倍数也都是毫无改变地出现在 L 的相应位置上。我们 
考虑 4 X 4 矩阵，此时 

L=E-AEl\B- i \BllL- i \nVJ^ 

为方便起见，在右端末尾加上单位矩阵/。这完全不影响乘积 L , 但 
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却使我们可以把运莧的作用想象成为加在卑.位矩阵的行上 s 第一步 
它把笫.三行〔0, 0, i , 0〕的1, 3 倍加到第四行上去，使 
站到 L 中它所应处的位 H 上。接下*巧〖.把第二行〔0, 1, 
0 , 0〕的倍数加回到第三、第四行上去，1 32 站到了它们在 L 
中所应处的位置上，且完全不影响敁后是运算 d e ~ A , 
El \, 给 L 的第一列填上元素 4 

将上三角方程组坯原为 = 也是这些运算，次序也 

相同。这些运算是把为得到 U 而减了去的倍数加回去。由于这些运 
算的总和相当于乘以 L ,因而 G a us s 捫去0:的矩阵形式可以概括为 
1 E 只 要主元素都不为零，矩阵 A 就可以写成下三角矩阵 L 与 
上三角矩阵 U 的乘积 LU 。 Li 对角线上的元素全为1 ,主对角线下 
( i , j ) 处的元素是消去过程中从第 i 行减去第/行的倍数 h 。 I ；是 
消去过程完成之后反向代入之前的系数矩阵。它的主对角线上的元 
素是主 元素。 

例 

A= ( 3 I 0-' ]- L =[ 3 ' ]• 

练习 1.4. 2试用消去法求下列两个4的1和[； 



练习 1,4. 3试将下列方程组中的 A 分解为并写出消去过 
程之后的上三角方程组 = c = 

2 3 3 r w "j r 2 " 

Ax= 0 5 7 v = 2 , 

』 6 9 8 1 w 」 L 5 — 

消去法是先将原方程组 ( WXUx — b ) 变为 Ux = c = 用矩 
阵的话来说，就是乘上了 IT 1 , 因而 c ^ L -4( 实际计算时我们不去 
求 ZT 1 。 正向消去是一步一步完成的，到 IT 1 的因子全部出现时，正 
向消去已经完成了），冉用反向代入法求出上三角方.程组 l ^ = c 的 
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解。代入过程是，由上三角方 W 组晟后一个方秤得: V „ = C , A ^， 将 
它代入倒数第二个方裎得类推。丧示成矩阵，则方程组的解 


为 

yXx = U ^ L ~ l b , ^= A-'6 (18) 

矩阵也是我们 不去讣 算的，计算求 x 太费时间 4 仅是 CT 1 乘 
c 的计算次数就已经与反向代入的计算次数一样，为 》 V 2, 还得另 
外加上求 LT 1 的适算,.类似的说明也适我们要的是解 x 
= A ^ b , 的元索， 

方程组左端不变右端换一个新向 ( 设计问题中常常遇到同 
—个系数矩阵，具冇许多个不同的右端向就是这种情形），这 
时我们可 以不® 复铠个消去过 H 对新向 MM 可以铒掉求 LT 的《 V 3 
次运算，因为绘有了，只 M 把计算机内存着的消去歩骤应用于 
新向量V就可以了。_ 

总之，有了因子 L 和1/,那么对新的右端 E/ 只须《 2 次运算就坷以 
了。 «V2 次用于正向消去以 求〆， 》V2 次用于 反向代入以求 

例在我们所讨论过的一个方程组中矩阵 A 的 Lt； 分解式为 


A 


2 1 

4 1 

- 2 2 



0 ir 2 1 1 * 

0 0-1-2 =LU 

1 _ _ 0 0 — 4 


C7 和 L 分别是从 （9) 和 （IT) 抄来的。假定 A 不变，而给了我们新的右 
端 b\ 例如 


2u* + 1 / + w' = 8 

4u f +v f =11 (19) 

— 2u l -Y2v' + w , = 3 , 

利用已知的 i 和先从 Lc /= b ', 也即从 


—1 0 0 T 

「C" _ 


' 3 



2 1 0 

C/ 

= 

11 

得到〆= 

— 5 

，1 一 3 L , 

.C/ . 


3 


4_ 


这就是 （19) 式经过正向消去之后的 右端； 完成了正向消去，剩下的 
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就足对 也即对 


' 2 1 J 1 

-U ， - 


" 8 " 

0 - i - 2 

u f 

- 

- 5 

0 0 — 4 j 

.i〆. 


_一 [ 


应用反向代入就可得剑解答，得到的解答为 



可见，将 A 分解为 U ； 之后，问题就成了解两个三角方程组。只需应 
用正向代入和反向代入就可得到解答. 

对这两个三角因子我们再作两点说明： 

(1 )1 X 7 的形状在一个方面"不对称”： C 7 的主对角线上是主元 
素，而 L 的主对角线上全是1„我们可以对17加以改造，使得 A 的三 
角分解在这方面对称„方法是从 C ； 中分出-个由主元素 d it 
A 构成的对角矩阵 D , 使 


_ d] -] 

-1 w 12 /ci, Ii 13 /d s -- 

1 tit./dt . 

* > 


L J 」 


这样 A 的三角分解就成了 A=LD[/: L 是下三角矩阵， U 是上三角矩 
阵„ L 和 U 的主对角线元素都全为1 , D 是主元素构成的对角矩阵 （ 
虽然冇时会引起混淆，为方便起见，我们述是把新的上三角矩阵也 
记为分解式 A = 中 L 和 U 的地位是同等的， 

把例子 中的！ 7如法炮制-下就成了 


1 0 


A 


0 — 1-2 
0 0—4 




" 1 0 0 : 

— 2 

r 1 女女 

2 1 0 

一 1 

j 0 1 a 

• 一 1 一 3 1 _ 

— 4 - 

Loo 1 _ 


~LDV a 


(2) 可能给读者造成了一种印象，正向消去的步骤是固定的， 
没有改动余地的。不对的，是有改动余地的，有一个 “ Crout 算 
法”，它安排的步骤就略冇不同.当然，没有完全的自由，否则后 
面的运兑会破坏前面运畀已经形成了的零》但最后得到的 L , O 和 U 
是一样的。这正是我们要讲的主要的 一点： 

IF 如果其中 L 都是对角线上元素 
为1的下三角矩阵， U 都趄对角线上元素为1的上三角矩阵 ， D 
都是对角元素全都不为零的对角矩阵，则 Im = L 2 , d ^ d ,, u , 
= u ,„ 也即 A 的分解式 iix ； 唯 一， 

证明知我们要用到与 L , 所具有的一 
些共 同点： 都为下三角矩阵，对角线上元素都全力1,都是基本矩 
阵的乘积等„类似地，也存在一个对角元素全为 I 的上三角矩阵 
U 1 1 , 使得= 显然，状如£^的任何一个对角矩阵都有逆矩 
阵， i 逆矩阵也是对 角的； 


' - 

-1 

- i/cii - 

d a 


iM 

\、 

= 

V 



- Vd,- 


左乘以 Lr 1 和 DI 1 , 右乘以 Uf , 方程就成了 

左端是对角线上都全为1的两个上三角矩阵，它们的积也必定是同 
样类型的矩阵。而右端是一个下三角矩阵。一个对角元素全力1的 
上三角矩阵与一个下三角矩阵相等，这只在它们同为单位矩阵时才 
有可能，由此我们得到 41 ^ = 1两边右乘1^得1^=[7 2 。 
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类似池我们可以得到 M =1, d ,= d 2; 
练习 1.4. 4 股定主元索都不为岑， 
a (? I 

A 分解式 LDi 人 

c d J 

练习 1.4. 5 已知 


出一般 2 X 2 炬阵 A 


A = - 1 2 - 1 L b = U . 

L o - i “ e 』 

试先求出因子 t d , u , 再求出屮间向量 c, tt 卮求出/^=(?的 
解。 

练习 1.4. 6系数矩阵 A 相同的两个 /i=M50 阶方程 tfL 解第二 

个所用的计算机时间是第一个的为 什么？ 

50 

练习 1.4. 7试求出 A;c = 6 的解„已知 

,^ 00 , , 1-1 0 . , 2 ^ 


- 1 - ^ = 3 . 


正向消去为 Lc = b, 反向代入为 U;c = c, 


..5 行交换，逆矩阵和舍入误差 


主元素为零的问题我们一直迥避着，其实这是消去法笫一步就 
可能遇到的。也即左上角的元素就可能为零，从而消去法第一 
步就无法进行。例如，对 


0 2 If U 1 ' 

3 4 J[ « J 


消去法第一步就是无法进行的.理由显然，用第一个方程的倍数， 
无论如何消不掉系数3。 

这里问题解决起来很简肀，将两个方程对换一下位置，那么主 
元素就楚换到左1：角来的 3 ,不是 芩了。 在这一简单情况下，经过行 
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交换的矩阵已经莊上 :: 角矩阵，它本身就是 t ;, 它的下三角矩阵 i 
是单位矩阵 i 。 方程 m 

Zu-\r4v = b t 
Zv—bi 

寬接就可以用反向 R 入法求解， 


行的位置的交换可以用矩阵表示出柬，置换矩阵 
1 0 ) 

与例子中的 A 桁乘就使两行交换 

H： ；1： : H： :]* 

当然 P 与 b 相乘也使 b* 交换位置。 

考虑一般情形，假定为零的主元素是在进行了若干步之后才出 
现 （ 第二章第四节公式( 2〗 ）是我们将推导出来的主元素公式。但是 
计算那个公式本身敁好的方法是消去法，因而判别主元素是否为零 
的方法述是消去法 h 例如，可以假定前 fc — I个主元素都不为零， 
第 fc 个主元素为零 a 下面对这种情况进行讨论， 

这种情况下冇两种可能，一种足消去法可以继续进行，一种是 
不能继续进行 5 从后面的方程中能找到一个方程，让它跟第 fc 个方 
程交换位置.第 fc 个主元素就不为零了，这种情况下消去法可以继 
续进行。若从后面的方程中找不到这样的方程，那么淸去法就不能 
继续进行。换句话说，第 fc 列中零主元素正下方的元素中，如果有 
不为零的，臂如说在第1行，那么将 fc, Z 两行交换，消去法就可 
以继续进行，如果第 fc 列中零主元素正下方的元素全为零，那么消去 
法就不能继续进行。此时以零主元素为左上角元素的这个子矩阵中 
列全为零，这样的矩阵足奇异的 f 而旦这决定了矩阵 A 也是竒 
异的.消去法指出了矩阵的奇异性，看一下我们的方程组，从第 fc 
个方程开始以下的部分中，未知数的个数少于方程的个数^事实 
上，是要我们解方程个数多于未知数个数的方程组„这是下一章要 
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讨论的情瑕。这种情形下，方程组或者有无穷多解， 或箭无 解„ 
我们指出，坑一个 - t 元索为零，其它的主元素都不为 
霉，这时的系数矩阵也妞岛舁的，阆为第 f: 个元索下曲‘没有元索， 
当然也就找不到非零的。 

m 去法可以进行的例子 （ 非奇异愦 况）： 


. I 3 2 1 f 

— 0 0 5 — 


消去法不能继续进行的例子 （ 奇异怡况） 


1 1 

- 0 

^ n 


练习1 J 


2 6 

3 9 8 " ^ 0 

解下西的方程纟; U 耑要的 话进行行交换 
u+4v+2w= —2 
2 [卜 Su+3w=32 


y 十 w 二 1 . 

练习 1.5. 2试对奇异方程组 
u + v=bi 


3 u +3 y=^ 2 

进行消去 4 问匕， h 有怎样的哭系时，该方程组有解. 

本节我们限于讨论非竒异情况，也即限于讨论通过行交换能够 
找到非零主元素的情况。（当然后而的主元岽可以再为零，我们就 
要再做行交换 n 甚至可以重复几次，虽然这种情况不多见，但是有 
这种可能。我们指出，计算机上进行行交换不费什么时间，只是査 
卷一下而已）.我们要问，行交换给因式 U； (或 ZJDC；) 带来怎样的 
变化。 

当然，与前样我们只进行到求出 u 为止，这楚正向消去的 
0的„但现在正向消去所包括的，不光足从一行减去另一行倍数的 
矩阵 E,』.， 还包括 E 换矩阵 fflh, 乘另一个矩阵，使得另一个 
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矩阵 k , I 两行迂换位置 （ 可以 ffl — 个巧妙的方法求得。我们 
用它乘单位矩阵/,则 由此 珂见是 fc 行与!行互换了的 
单位矩阵）。例如 

r 1 0 0 0 -1 


1 0 1 0 0 J 

逆矩阵 Pr , 1 的求法也 R 样玷牟„ 使/ V 还原，也就是说，它使 

的1 !两行交换位因而 

我们来考察一下行交换时变 u 为 a 的矩阵.它的计算与前相同， 
只是它的因子屮不仅包含在: 1 ,而且包含 p < a 因而，把 u 变回为3 
的矩阵不再 K 三角矩阵 L 也即，如果遇到了零主元岽，并经 
过了行交换，那么矩阵 A 就不能分解为对角元素不为零的三角矩阵 

不过经过简单的处现，我们就几乎可以得到 A = LU . 把 消去过 
程中耑作的行交换都列出米，并在进行消去之前把这些行交换一次 
完成.也即先变 A 为再迸行消去法， P 也是置换矩阵，它的侮一 
行每一列上都只冇一个！。事实上， P 是全体基本置换矩阵的乘 
积，也即由一个矩阵次完成了所 冇的行 交换。 

这样，就可以对 PA 迸行消去而不会遇到零主元素。此时的主 
元素与消去过程中每遇到一个零主元素进行一次行交换所得到的 
主元素蕋一样的。矩阵 P 4 可以分解为主元素不为零的三角矩阵的 
积 LU ( 或 LDC 7 ) „用 P 把所有的行交换一次完成，这样做仅有一点 
影响，假定从第二行中减去第一行的倍数之后，为得到非零主元素 
将二、三两行交换，那么，对于 PA 来说，由于事先二、三两行已 
经交换，因而就是从第三行中减去第一行的倍数。 

例不先做行交换，则步骤为 



先做行交换， 

r 1 2 a ] r 1 0 0 ir 1 2 3 ] 

PA= 0 1 1 = 0 1 0 0 1 I =LC7. 

2 4 2 ^ 2 0 1 ^ 0 0-4 J 

从第三行减去了第一行的 2 倍，也即把换成了 E 31 , iLPA 可由 
L 还原， 

本章$点的商斯消去法，其整个理论可归纳为 
1 G 在菲奇异的情况下，冇跫换-矩阵 P 存在，使得 PA 可以分解 
为 PA = U 7( 或 PA = LIX ；) ， 且 i 元棄不为零 。 此时 = b 有唯一 
解，可用消去法并经过行交换求得此解 。 在 t 异憎况下，行交换也 
排除不了零主元素 。 

练习1 . 5 . 3试対下面的 A 求 PA 的分解式 fM ^IDU 

f.O ! 1 


练习 1.5. 4设 


试求出使可以分解为 LOC 7 的代 

练习 1.5. 5试问下列方程组是奇异的还是非竒异的，是否有 


解 ： 



逆矩阵 


奇异情况的基本理论婴到§ 2. 4时才能都讲到。弗奇异情况 
( 是用主元素企都非零来标志的）也需独立于消去法来进行讨论《 
我们已经用过符号£7, 这神符号适于用来表述逆矩阵 

的某些基木性质 0 

逆矩阵的第一条基本性质是，如果4的“左逆 M 5和“右逆 M C 
都存在，则必相等。 

IH ^ BA=I , AC = 1 , 贝 ijB = C 

证明由矩阵乘法可结合，知 S ( AC ) = ( J 3 A ) C , 由所给条件，得 B / 
= / C , 也即 B = C a 长方形矩阵的左逆和右逆可以一个存在 一个不 
存在。方阵则不，方阵的左逆和右逆的存在与否是同时的，非奇 
异 nx M 矩阵 A 的左逆和右逆都存在.也即有 A — 1 存在，使 
AA' l = A~ l A=l 

这 一性质 可用难本矩阵和它们的逆来证明 • L— 1 是根据乘积的逆 
矩阵规则构 成的。 

II如果 A, S 都可逆，则 AB 可逆，且 AB 的逆等于 B 的逆乘上 A 

的逆 

( 21 ) 

证明结合律使得可以去掉括号得 

(AB) (B_ * A— 1 ) = AB8. 1 A— 1 = AM'*= AA^ l =I. 

推广这一规则到三个矩阵的乘积，得到 A = LDU 的逆为 = 
U ^ D ^ L - 1 , 这一结 果我们風过„很少有必要对逆矩阵进行计算， 
用计算 A — 1 来得到那是消费时间的笨法子。但是考察一个逆 
矩阵如何计算和所需运算次数，这是很有意思的，一种计算方法是 
每次考虑 J 的一列_如果巧是 / T 1 的第/列，勺是单位矩阵 
的第；列，那么显然有 A 々 = e 八这样我们就得到了布 ti 个不同右 
端〜，…， f ■•的》个方程组.由于这 H 个方程组的系数矩阵 、都是 
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A , 所以只需对 A 进行一次消去.最尚单的方案是 Gauss-Jordan 
C 高斯-约当） 法： 对这《个方程组 M 时进行 消去。 

例 



1 ] 1 0 
10 0 1 

2 10 0 




0 

0 




这就完成了正向消去。最后一个矩阵中，前三列垃我们熟悉的矩阵 
U , 后三列是经过了正向消去的三个布端，因而可以进行反向代入 
了. 后三列实际上是基本运算 iT „, B , it 五 31 对单位矩阵作用的结 
果，反向代入 得到三 个方程 ffl 的解 A , A 
就是逆矩阵 A - 1 的三列，高斯-约当法同时求出逆矩阵的各列.做 
法是接着0 &11 ^消去法做下去， 再消犮 主元素上面的元素，即从主 
元素上面的行中减去主元絜所在行的倍蚊， ffi 主元素上面的元素也 
变为零，第一个被消去的是第二列中主元素上面的元素， 


[A 







0 0 — 4 — G 
2 0 0 + 


0 0 




=i 1 A' 1 ) 

最后一步是用各主元素除所在行的每一个元素.现在左半的系数矩 
阵化成了单位矩阵。我们要解的三个方程 m 化成了 



这就是的三列 . Gaussdordan 法包含对 A 的芷反向两个消去， 
使得主元素上下方的元紊都变为零，同时对单位矩阵的各列也进行 
同样的 运算。 结果是，在3 X 6矩阵中左半的 A 变成了 J ,右半的 
/变成了 A — 1 。 

注出于纯理论上的探讨，我们来计算一下求所擗的运算次 
数。一般情况下，对每一个右端所需的运 W 次数为 n \ 正向消去反 
向代入各个右端共需^1 3 次„再加上对 A 本身所进行的 fi 3 /3, 
得总运箅次数为 

这一结果是对一般情况求得的，现在我们针对右端~的特殊形 
式进行讨论.在计算的前半，正向消去过程中，对 々所 在列，只需 
改变 I 下面的元素， e , 所在列需要 n 2 / 2 次，但~所在列需 ( n-j 
+ 1 尸 /2次 （ 消去法进行到/列之前涉及不到进行到第/列时 
只剰下 （ n -} 1 ) 个分量了）„换句话说，变 J 为 IT 1 的过程 

只需对一个下三角矩阵进行工作，对角线上方的元素为琴，计算量 
为 

手 + …+ Cn ~^ 0i +,.«• ⑽ 

加上对 A 所进行的 fi 3 /3 次，再加上反问代 入求心 所需的 tt (« 4 /2) 次 
( 法分别求，按高斯-约当法同时求，这个数是一样的 ） 1# 
求 A — 1 所需总运算次数为 


* 3尽， 




这有明显的降 低， 只相 A 于求的运箅次数 （ 求 A 3 的运算量是求 
，的两倍）。然而不需要吋，我们不进行计算 6 
练习 1 .5. 6试写出 ABMC 的逆矩阵。 

练习 1.5.7 试求欠， B 的逆矩阵 


A 




COS0 

sin^ 


嫌习 L 5.8 试用求解 


一 sin& 
cosO 



来证明 [A 11没 tj ' 逆矩阵. 

练习 1.5. 3试描述五乘 a 的作用，并写出 



1 0 S 

E = 

0 1 0 

0 0 1 _ 


嫌习 1.5. to 试用高斯-约当法，即用同时求解 = ~ 的方法 
求下面两个 A 的逆矩阵 



舍入误整 


埋论:上非奇异 情况已 经没冇什么问题，为使主元素不为零，要 
做行 交换。 在非奇异情况下用行交换必定找得 到砟 零主元素，从而 
就可以用反向代入求出的解，实践中，为避免求得的解无意 
义，冇时也需进行交换。 

实际问题中100 X 100的方程不算大，对它进行 正如消 去所需的 
运算次数，就 Q 经高 TS0 万次，每一次运箅郤会有舍入误差。在一 

- 3 fi * 



般的浮点运算中，通常是把数 n 表示成 ft = mlO* , m 是小数，' 
-^-<1 m| < 1 , c 是指数， m 所含数字的个数等千计算机的字 
长.不必具有浮点运算误差分析的任何知识，我们就可以指出，指 
数 C 整2的两个浮点数相加就需要进行舍入 
•345 屮 *00123—*346 


问题是这每一步的舍入误差累积起来对解的总影响有 多大？ _ 
这是个很不易解决的问题，由于计算机的出现，百万次运算立 
刻成为可能。那时，杰出的数学家 von Neumaim 钻研过这个问 
题 d 也利用 G a U ss 的成果得到了一个美妙的消去算法，然而他估计误 
差的方法却很复杂。 Wilkinson 找到了估计舍入误差的方法，他的 
书现在也还是人们引用的经典著作. 



分别取自《«11。所写与 Forsythe 和 Molei ■所写的教科书.我们用这 
两个简单矩阵作例子来解释关于舍入误差的三个要点. 

第一点适 

U 我们把对舍入误差极为敏感的矩阵称为病态矩阵，把对舍 
入误差不敏感的矩阵称力正常矩阵 • A 足一个病态矩阵./^是一 
个正常矩阵. 

对正常矩阵， A/ 或右端向量 fc 的元素的微小变化，对方程组 
= 的解的影响也是微小的，对病态矩阵则不然，我们考虑系 
数矩阵都为 A 且右端极为接近的两个 ^ 方程组 
« + v = 2 H + [/ = 2 

W +1 .000]w=2.000! ； w +1 .OOOJ y=2.0002. 

前一个的解是 》=i, w = 1 ,后一个的解是 w = 0 , y == 2 . b 
的万分位上的改变使得解的个位改变，也即&的改变在解中扩大了 
―万倍 a 不同的计算方法可以使病态改变位置，但去不掉病态•真 
解对误避敏感，则数值计算得到的解说更如敏感， 

第二点是 
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ik 塔 .rr 法会 把正 常矩阵变为病态的， 

很可惜，对;::.阵 W 米说，我们不捋+把正向 Gauss 消去称为坏算法。 
假定我们取 • QQ 01 作笫一个生元素 a 从第二行减去第 一 U 的10000 
倍，得右下角的元素为 _9 gg < j 。舍入成字长为三的数宇成为 
-10000, 右下角吩来的元# 1完企不起作用了。 

考虑一个特殊的例子 

.0001W+ v = 1 

(24) 

w + a = 2 

正向消去之后，笫二个方程成为 

_999如=_9998或 = .99990 

舍入得 一 ICKOOOw ^ — IO . OOO 或 y = 1 。 到现在为止，第二个方程 
的危害还没有得到反映 ， w = ,99990有三位数宇是准确的，将它代 
入到第一个方程，得 

.0001 W +.9999= 1 或 w = J 

但是，值.9 9 的的第四位数宁 . 也即万分位上加1 ,得 u = 1 . 
将它代入到第一个方程# 

.0001“+ 1 = 1 或 w = 0 

得到的这个 w 并不是方程的解 5 对这个正常矩阵正向消去法 
却完全地不能使用。因子 L , D 和 t ； 都与哎圯阵相差太大 

A ， \ 1 。 .0001 U jf 1 10,000 j 

[ lO.OOO 1 儿 0 -9999 U i j’ 

不稳定的报源在 T 主元尜 .0001 太小. 

从数萤上宥， A 接近于奇异矩阵， A / 则:把 A 右下角的元 
索变为 ！ （ 或者对另外的元素作微小的玫变）， A 就成了奇异矩 
阵。"则不然。接近丁奇异几乎就等于病态 „ 第七章第二节我们 
将要讲渍这一点•矩阵的正常性之所以被破钚以及医治的方法 ， 
这就是我们的第三点 

1 L 竽在埒论上不能作主宂，接近于零的数在实阽计兑中就不 
能作主元，这两种愦形都必须进行行 交换。 一般怙况下， 计箅 机必 
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颔把主元位置上的元素与同列下方的毎个元素相比较，选出最大 
的一个， 并爪彳 _?交换把它换刊主元泣 W 上来，这种方法叫做列选主 


在矩阵 Y 中，将主元位 K 上 Q. 0001与同列下方的1梠比较„ 
结论是应该用行交换把1换到主元位 S 上采.用矩阵的话说，就是 
要用一个 S 换矩阵 P 去乘矩阵 vV 。跅得矩阵 /T- iPA ' 的分解式为 



两个主元素 1和. 9 99 9 不像原来的 . C 0 GO 1 与一 S 9 S 9 益得那么远了。 

列选主元法的挑选范围是同列下方各元素„把挑选范围扩大到 
右方饵列，可以选到更大的主元，这种扩火丁; II .1 U 抗选叫全选主 
元法。仝选主元法中不仅要做行交换，还要做列交换，才能把选到 
的最大主元换到主元位 H 上宋 （ 换甸诂说，要给未知数1新标号， 
或者要乘以 a 换矩阵）。全选卫元法虽然可以选到兕大的主元，但 
太化费机器时间，费用太高。因 TW , —般使用的 部足 列选主元法。 

最终我们得到的数値线性代数的基本算法是列选主元消去法， 
也还可以存所改进，5如把一行一列增 （ ' 相同的倍? L 但我们已泾 
把怎样用计算机处 ffi 线性方程组的鸪本点向读者交待淸楚了。理论 
上，线性方程组的解法处，先求出 A - 1 , 再用义〃去乘 b . 比起抑 
论解法，这里让读苦化费的时间和耐心要多得多。我希塑找到更为 
简便易行的方法，但我不认为有这样的方法存在^ 

练习1 .5. 11用 G au ss -〗 or dEin 法按两种方式求 Hilbert 矩阵 

f ' 女 * 1 

士 + + 

^ 女士 j j 

的逆矩阵。 （0 准确 计算； （ ii ) 舍入成 H 位数宇计算。注意 f 这里 
的 A 是一个医治不了的病态矩阵，选择主元法无济于事. 
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练匀彳，5.12 比较在直接消去积列选主元 的去之下， 矩阵 



的主元 （ 这是一个在进行消去之前就耑加大主元的例 子）. 

练习 1.5.13 试解释为什么在列选主元之下， L 中的 I 都满 
足 1 U < i ,试证明，如果 A 的元素满足 kU < 1 ,那么第一步 
消去 （ 变第一列主元下 m 的元岽为零 ） 之后 f 所有元素都以2为 
界；第 fc 步消去之后，所有主元都以2 1 为界，请构造一个3 X S 的 
A ,使得 U ,.,_ K 1 ,丨 U < 1 , M 后一个主元为4 , 

§1.6 带状矩阵，对称矩阵及其应用 

这一节翦做两件事。一件是，介绍一种从实际中提出大线性方 
程组的方法.到现在为止，本书尚未涉及应用，原因是对建筑 J : 程 
或经济中一个大的实践问题进行完整的描述，必定要用到太多的非 
数学的东西.但有一项普遍而又重要的应用，它不需大量的准备知 
识.本节要做的两件箏都从这项应用出犮来进行.另一件是，介绍 
常见 的一类 系数矩 阵所具 存的一些特殊性质，实际中遇到的矩阵常 
常是对称的，并且有很多元素为零.称这种矩阵为稀疏 矩阵. 它的 
非零元素远少于 n 2 个，因而它的计算比全矩阵要简单得多.稀疏矩 
阵中最力常见的，又是那种非零元素集 中在主 对角线两侧的矩阵. 
称这种矩阵为带状矩阵.我们要介绍的就是这种带状矩阵所具有的 
特殊性质，和这些性质在消去过程中所产生的影响 = 

前面说的应用就是变连续问题为离散问题.连续冋题未知数的 
个数是无穷的（它要求对每一个数宇计算机不能求 
连续问题的解.因而只能用离散问题去逼近连续问题。当然，所用 
离散问题中未知数的个数越多逼近的程度就越高，计算量也就越 
大。一个简单，但 m 典型的连续问题是微分方裎 
■ 4Q • 



~ 1 0 1 (25) 

这是未知函数 《 的线性方程，4•:齐次项是/ 。 该问题冇不确定 
性.任何一个组合 C + Dx 加到任何一个解上去，得到的都又是一 
个解，这是因为 C + Ox 的二阶导数为零。给区间的端点加上"边 
界条件” «(0)=0 , M ( 1 )=0 (26) 

问题就成为确定的了. （ 25 ) 加上边界条件 （ 2 6 ) 称为两点边值问 
题。 它描述的现象不是瞬态的，而是稳态的，臂如，可以是一根棒 
上的温度分布，端点处的温度为热源力/(%)„ 

本卞我们要做的第一件亊是提出一个大线性方程组，也即提出 
—个冇限维的 离散问 题 。 因而我们只能取的有限多个值，替 
如在等距离节点 x = , x = 2h r 处的值，要计算的 

也就楚真解》在这些节点处的近似值 Wi ,端点 X =0 和 ? c 
=1 = ( » + J ) ft 处的准确值0 , D 是已经给定了的， 

第一个问题是用什么來代咎 dV / dj ^ 。由 F 导数是差商的极 
限，因而我们可用差商来代替导数。当然，只能取有限个点处的差 
商，也即，不许 h (或 jx ) 趋向于零。一阶导数的差商可以是 
du 〜 u(x + h ) ~ u { x ) m (^) — n(x — fe ) 

~dx ~ h~ ~ — —^7i—~~~ 


或„^±以^1：1. (27) 

最后一个近似式災对称，因而它的近似程度比前两个好.二阶 
导数的差商近似式只有一个，它用到 x 和 x ± h H 处的值 


d^u 


u ( x + h ) — 2 u ( x ) + u (_ x — h ) 


(28) 


它也关于 X 对称。 ft — 0时上式右端趋向于 fll / dx 2 . 但我们保持 
ft 为常数， 

在节点饵处，将微分 方程一 P U / d X = / O ) 中的微分换为 
(28), 再乘以 V 得 

( 29 ) 




对每一个 / 2, …， ft ) 打一个这柞的方程，总个匁为首 

延两个//程中 W 和》„ +1 长边值条怦，是 D 知的.可以格右踹，归入 
介次项。在我们这 M 它们都为零，稳态方程 (29) 的左端可改写为 
(Uj - Wj-O +(1^_1^ +1 )。也?4!,节点 汴处的 〜减去左侧的 Wk 〖，加 
上〜 减去右侧的 〜 +1 , ^ y - h ^( fh) a 

(的）所衣示的 (1 个方程 W 以用矩阵写成 Au = E ; „我们取 ft = 

卜 或 n = 5 ,则 

I 2 — 5 . 、 I 1 ...I { /(?；)', 

- 1 2-1 ! ! " 2 | | /(: 咕 ） | 

- ] 2 - 1 ! ! u 3 != i /(3 ft ) : . ( SO ) 



从珂在开姶，我们只打方裎 C 30 ) 进行 RKi, 而不 付恭處 它足怎栉 
产生的 s ( 30) 这种类型的系数识阵阶数《可以很大，由于结 
构特殊而具冇一些特殊的性质，筲兜，它的非零元素都集中在以主 
对角线为中心线的三条相邻对角线上，换句活说，只要 n 数 i 与列 
数/的差大于 1 , 〜说为零 ， P4Jau= 0 , | f — / !> 1 s 我们称 
这种矩阵为三对负趴阵。由于三对角矩阵的元素中打大®的零，这 
使消去法变得大为简单。 

下时我们 H 论 A 的另外两彔极重要的性质，和它们对消去法的 
影响。 

(1) 矩阵 A 是对称的；以主对角线为对称轴，对称的元素相 
等； a ^^ au , 换句话说，第一列与第一行相等，第二列与第二行 
相等，类推，显然，计箅机可以只存 A 的下三角部分，主对角线上 
面部分可根据下三角部分 S 接写出。 

要的一点菇这对称性不因消去过程而改变（见习题 ） ，因 
而消去 H 程中对主对角 线上面 部分 W 以不进行计猝。对称性使得存 
储!_算量都减少了几乎一 半。 




在介绍对称性的另一效果之前，我 fn 先引进转置 矩阵. 任何一 
个矩阵让它绕主对角线转 ISO °,变列为行，得到的就是它的转 
置矩阵。记为对称就总味着 A r = A , 并打下列结论 

m 、 如果 A 是对称的，乂如果 A 能分解为4=1_0(7,那么下 
三 角珩阵 L 的列与上三角矩阵的对应行相 RL 也即 U 互为转 
置矩阵 ； L = U ^, 

证明 将分解 SA = LDU 的两端转置， A 对称，因而犮端仍为 
A . 右端各丙子转 H 后按相反的次序相乘（如同逆矩阵那样），也 
即，第一 个因子 [ F 是变 U 的行为列得到的下三角矩 
阵 D D 、 L 1 ■是对角矩阵和上三角矩阵.这样我们就有了 A r = A 的 
—个新的 " iDl / 分解式 • ，由于任何矩阵的 U 3 L ； 分解式是唯一的 
(见木章筇四节 1 F ) 得到 n =2> r , t /= L ^. 证毕 a 
这里提到的转置矩阵，第三章第一节我们将进行讲解， 

有限差分矩阵 A 的另一条性质是 

( 2 ) 矩阵 A 是正 定的。 第六章我们将给正定下定义 （ R 对对称 
矩阵），那里的定义跟消去法没有什么关系，后面我们将推出正定 
性的一个等价定义：对称矩阵.当且仅连它的主元素都力正数时是 
正定的，这一定义与消去法关系密切。它表明，疴正定矩阵可以不 
进行行交换，消去法可按原矩阵的行依次进行，从而对称性不会因 
行交換而受到披坏. 

正定性决定了主元不为零，但进一步我们耍问主元素是否接近 
于零，即是杏够大。正定性的另一推论回答了这一冋题，这一推论 
是计算上 asm 要的。 推 沦说： 正定矩阵在计算过程中完全不必进行 
行交换。对我们的矩阵来说，这一推论可以从因子 L , D , u 看出。 
注 前一节中的病态矩阵 

. 4 1 1 ] 

[ 1 1.0001 j 

和前一节习题中的 Hilbert 炬阵都是对称正定矩阵，它们对 舍入误 
差都足敏感的也即，对称正定不保证计货上的稳定， 
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矩阵 A 的性质就说到这里。下面我们考察三对角矩阵对消去法 
所产生的影响„假定已进行了消去法第一步，第一个主元下方的元 
素已经为零 

- t 

吾 — 

— 1 2 — 1 

-1 2 — 1 
—1 2 

该矩阵比一般的5 X 5矩阵简单处主要有两点 

00主元正下方只有一个非零 元素。 只需从第二行中减去第一 
行的倍数；一般矩阵则需从第二行及以下各行中减去第 一 行的倍 
数. 

( b ) 从第二行减去第一行倍数这一运算极为 同单。 决定了倍数 
h , = 一|之 G ', 只需做减去主充右侧元岽这一个乘-减运算， 

可见第一行第一列中的零使得第一步大为简化。由于三对角性 
质不因消去过程而改变（在不做行交换的情 况下！ ） 我们有 

( C ) 消去过程第二步以及以下各步也都具有 ( a ), ( b ) 这两点 
简化。 

现用不同的方式来总结一下上述 ffil 化，上述筒化从 A 的分解式 
IDU 中看得最清楚 T 





心 )一（ c ) 可以陈述为：三对角砗的因子 L 和 u 是二对角阵，且互 
为转主元 d , 金为 正数' 且随 n 的增无而趋向于极限+ I .这 
种矩阵最适于用计算机进行计算. 

上述简化使得运算次数大为减少，消去法的每一步只需两次运 
算' —次以主元素作除数的除法，一次乘~减运算.步数为》,因 
而正向消去的运算次数从 《 s /3 减少为 2 n s 类似地，反向代入的次 
数由 》 V 2 滅少为可见三对角方程组的运算次数跟 n 成比例，而 
不是跟《的更高次方成比例 • 三对角方程组 b 可以很容易地 
解出。 

更一般地，假定 A 是一个带状矩阵，即其非零元素全都在一个 
以主对角线为中心线的带状区域内.记半带宽为即！ 

«时 au 为零（见图 1,2). 则非零对角线共 2 fi >- 1条，主对角线及 
其两侧，每侧1条 . 1时为対角矩阵，0= 2 时为 三对角 



• BB 我们将宥到主元*的积等于 A 的行列式， deM - 0, 
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矩阵，时为企矩阵。 

关于三对角即 A ( a ) —( r ), 对一设的带状矩阵仍然适用， 
在捫去法笫一步， t 元正下方耑消去的非零宂素是《— I 个，再往 
下的元素已经为零，又第一行中的非零元索只有 0) 个，因而每消去 
一个元素只耑进行 0) 次运灯。可见第一步消去，即对第一列 进行捫 
去所需的运算次数为 «(«- 1 ), 完成珩一歩消去之得到的依 
然是半带宽为®的带状矩阵。正向消击的总步数为 M ,因而带状矩 
阵正向消去所芯的总 ii . 兑次敛约为这个次狖也是与《成比例 
的„ 接近于《时，矩阵成为全矩阵，运算次数也大致地成为 
« a = 为得到准确的运剪次数，耑考虑肖消去法进行到矩阵右下伯 
时，半带宽 不是％ 比《要小。为得到 L , D 和 17( 不假定 A 对 
称〉， 所需进行的除法 和乘- 减运算次数为 P =-—«(«- 1 )(3« 

-2 a >+ 1 ), 当 A 为金矩阵时， a = n , 我们得到 p =^_ n( >- 
1)0+1)、总之，带状矩阵 A 的三角丙子 L 和 C 7 也是带状的. 
且宽度相同，正向消考和反向代入都很快， 

关于运箅次数，我们就讲到这 M , 但要强调一点，我们所举的 
有限差分矩阵 A ,它的逆矩阵楚全矩阵，求4 _1 所耑的运鲜 次数比 
求 L 和 C ； 所需的要大很多 4 下一步，用 A — 左乘 b 以求得 x = A l 7 
所需的运算次数为 V ,而解 Ic = &和[/;«= C 只需 4 tt 次运算，正向 
消去和反向代入苡踣得到的是 

我们希望通过这个例子能达到两个目的_ 一个是使读者进一步 
认识消去过程 （ 我们假定读者现在对它已经认识洁 楚）： 一个是让 
读者看到一个这类大线性方程组的实例。下一章我们讲线性方程组 
4;;=&的"理论 u 结枸，讲;《的存在性和唯一性， 

练习 1 . 6.1 —将我们刚举过的这个例子中的 ail = 2改为 a tl = 
1 ,求新三対角矩阵的分解式 

* 找们指出，这个 P 必定是 伫数。 U 0为找-1, K , W + 1 是埤；的三个整釭 T 
冗而其中必定有一个拽 S 除愣尽0 


练： Sjl . G .2 试消去对称矩阵 

A = b d e \ 

c e / ** 

中主元 alE 下方的各元素 „ 验证经这一涉消去之后，得到的 2 X 2 
矩阵依旧是对称的，由此认识每一步消去都不改变对称性， 

练习 1.6. 3求逼近 




的 5 X 5 矩阵 A ,边界条件换为证明所得矩阵 
作用于常数向 S 〔 l , 1, 1, 1, 1), 结果为零， A 是奇异矩 
阵。类似地 f 再证明如果 t »0) 是连续问题的解，那么 u ( x )+ !也 
是； 题给的边界条件去不掉 C + Dx 的不确定性，因而解不唯一„ 

练习丨 .6.4 h = -4 一， /( x 差分方程 （ W ) 为 

4 



解出〜，并将求得的解与真解》 = sin 2 ir « i ： PC=-^-,x , 

x = - j —处的値相比较，箅出误差 a 

4 

l . i 试对矩阵 
A = 

计算 A + B 和 d /?。 

1.2 对上题矩阵计谇乂―、 z ? 1 和 ujBr 1 , 


复习题 


和 B : 
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1.3 咐正向消去和反向代入解 
2 u-Zv = 8 
iu - 5v ■*- w - 15 
Zu + iw= 1 fl 

1.4 将上题的系数矩阵分解为 A * if /, 

1.5 —个三个方权的方程组已给，试与出炬 F 1 E ， 它能起到从第三个 
方程减去第二个方程的作用 。 

1.6 试写出 8 X 8 矩阵 P ， 它能起到交换一、三两个方柷的作用 。 

1.7 什么样的8 X 8矩阵能 起到乘 第二个方程以 - 1 , 保持另 外两个 
方®不变的作用。 

us 试 m 消去法判断下 面的方程组是 否有解 

« 十 V ^ rtr « 0 
« + 2y + 3to = 0 
3w + 5v 4- 7tu =* 1 
U 9 试用消去法和行交换解 
u ^ v - tv ^ 2 
3ti + -f tu = 2 
u +■ u/ = 0 

l.】D 试分解 

,4： 

L o 

为 LU , 

1.1] 求 

2 
3 

的®矩阵* 

U 12 -个 8^8 矩阵，它的任何-行都不是男外一行的倍数^问该矩 
阵是杏一定有逆矩阵？清举例 a 
1.13 用髙斯-约当法求 
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的逆矩 阵《 

1. H 试解释为什么三角阵的逆矩阵也是三角阵。 

1.15 设 E 是一个 2x2 矩阵，它起到加第一个方程到第二个方程上去 
的作用„问 £** 起什么样的作用？试写出 E, £*» 和 50 丑， 

1.16 试写 出一个有无穷多解的2 X 2方程组。 




第二窜线性方程组 
§ 2.1 :句量空间和向量子空间 

第一章讲了消去法，它每步消去一个未知数，把方程组 Ax = 
b 化的。消去法不 K 使求解变得容易，并旦还回笞了解的存在和唯 
—性这两个浬论问题„力了现解长方矩阵和进一步理解方阵，我们 
耍再用一节篇幅来讲消去达、那时消 去法 就讲全了.消去法是根据 
单个系数来认识方程组，本章我们闲另一方式取得对它更为深入的 
认识。 

为此我们引进向 fi 空间的概念^■我们不用公理法而用一个例子 
来引进，这例子是两个未知数 H 个方程的方程组 



如果未知数的个数多于方程，我们可能求#—个，甚至无穷多 
个解 （ 虽然并不总是如此）。上述的例子是方程的个数多于未知 
数.这种情况下，通常无解，只对某些右端冇解，事实 
上，只对所有可能的三维向 fi 6的一个很 u 褪”的子集才 有解. 
该子集的一拌描述为 

2A 方程组当 U 仅当 f) 可以表示为 A 的列的组合时才 
可解. 

这一描述只不过是相当于把 = & 改写为 



它依旧是两个未知数的三个方程。但现往问题成了求权《和"，使 


* 50 • 




w 乘上第一列， y 乘[:第二列，然 e 相加，和为方程组只在这 
样的权存在时汴可解， iL 权 （ 。）就是解>；_。 

这样，使方程组*解的石溫（以下简称为有解右端 ） &的子 
集，就记 A 的列的所打组合的集 s —个冇解右端是第一列，此时解 
为 tt = i , «==0 ( 再一个存解右端是第二列，此时解为«= 0 , 
y=i: 第三个有解右端是 b = o ,此时解为》= 0 , ( 对 

于任何的系数矩阵， w = o, u = 0都是& = 0时的解 ） „ 

现在我们考虑这两列的所 W 组合，并儿何地来描速它们 = 
b 当且仅当&在两个列向 ffl 所张成的平面上时，才可解（图 2. 1)。 
这两个列向量是连接原点 （0,0,0 ) 到点 （ I, 5 , 2 ) 和(0, 4 , 4 )的线 
段.平面是由这两个线段所在直线决定的„平面不限制向量的分量 
必须为正，权《 = _1, V = 1产生 b =(-1,-1, 2 ). 



困 2.1 列空间，三维空间中的一个乎面 

这平面解释了线性代数理论中一个最基本的概念——向量空 
间。向量空间是满足下面两点要求的向 a 全体 ； 

( i ) 向量空间中任何两个向量 i / 的和 &+ V 属于该向量空间： 
( H ) b 为向贵空间中任何一个向量， c 为任何一个数量常数. 
b 的 c 倍 c & 属于该向量空间 4 - 

__ 换句话说，我们 平面内的向量集合对向量加法和数乘是封闭 

♦ 我们称系致为杈，这并不限制权必況为正数 D 
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的* , 平面是分量个数为三的所有向量 （ b t , b 2 , fc 3 ) 的子集 D 所有 
分 ffi 个数为三的向量就是整个三维向 M 空间，我们的乎面，实际上 
是一个子空间，换句话说，是一个肖身也枸成空间的子集。我们称 
它为矩阵 A 的列空间，因为它避由 A 的列张成的 a 

我们考察一下矩阵列空间的两个特殊情况。一个特殊情况是 R 
>；«零矩阵八=0„它的列空间只包含…个何最 （0, …， 0), 这 
确实是-个列空间 （ 非空 | ) ，它对向量加法和数乘都封闭。和0+0, 
数乘 C 0 都是零 叼量， 都属于这个空间，这是最小的列空间 4 另一个 
特殊情况，例如来自《 X II 单位矩阵4= ,它的列空间是整个 ™ 

维空间。每一个 n 个分量的列向量都可以由单位矩砗的列产生。我 
们限制分量为实数„记实《维向量空间为在围2.】中平面是 fl a 
的子空间。 

我们用几个例子来说明子集和子空间的不同.以后还要举更多 
这样的例子.每一个例子中都要求判断 （ i ), ( ii ) 是杏被 满足。 

例1设 S 由一个给定向量〜簪如说 （1, L ~ 2 ) 的所有倍数 
组成。 S 充满三维空间 R 3 中的一条直线.这条直线通过坐标原点， 
零倍 ㈨ 是 u 的倍数中的一个。这个子集 S 实际上是一个子空间。这 
条直线任何一个向量的任何倍数，以及这条直线上任何两个向量的 
和都在这条直线上， 

例2设 S 只包含两个向® ( 0,0,0 ) 和 （ K 0,0 h 这个 S 不 
满足 （ ii ), 倍数 5(1,0,0) 就不属于 S , (0 也不满足，我们可以取 
b . E / 都为 （1,0,0), 那么 b + i / 就不属 —f S 。 

例3 —条直线平行于 x 轴， S 由这条直线上的所有向 M 沮 

成.分量*任意，但 y = 3 ^ = 4 是固定的.条件⑴ ，（ ii > 这些子 
集都不满足。这条直线上两个向置的和中有6,2 = 8,似它 
在另外一条直线上.零向量不在 S 中。条件 （ ii ) 中的倚数可以是零 
倍，闶而任何一个子空间都应该包含零向量 .， 

• 向置空问的定义应该给出加法和数雎所应_足的各项规则， is \ b ^ b f i - b . 
这些规 剿也是 fl 维空间应该满足的 
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引论可以结尾了。几何上没有什么要讲了，主要的内容从图 2 ,i 
上都荞得清楚。 

( i ) 我们的方程组中所冇有解的 b 构成一个二维列空间。 
A 的两列张成一个平面 f 少于两个向置张不成平面。 

( ii ) 过原点垂直于平面的向董全都在一条直线上，这些向量也 
构成一个子空间，维数为 一 \ 

上述两点从几何上看都相当明显。但到目前为止，我们还没有 
用代数方法来丧达它们，验证它们，或把它们推广到 mx ft 方程组 
( 也即推广到 m 准空间屮的 n 列）。这是我们对的讨论所要 
达到的两个目的中的一个。 

本章要达到的第二个目的与第一个相比是 u 对偶"的，我们不 
只关心有解右端 b , 还关心可能的所有解 x 。 右端&=0时恒有特 
解 x = 0 ,并可以有无穷多个别的解 （ 当未知数的个数多于方程的 
个数时 （n >m ) ,我们将证明 Ax = 0 在平凡解 x = 0之外，必定 
布另外的解）。 a 的解也 构成一 个向量空间，称它为 A 的化零 
空间，与有解的 b 所成列空间是的子空间一样， A 的化零空间也 
是/?_的子空间. 

对于前面的钶子，求解0不难，也即化零空阆不难求得 • 
由 



的第一个方程得代入第二个方程，得 这里化 零空间 
只包含 二个零 向童，也即 在右端& = 0 时满足 A ； e =0 的列 组合只 
有一个广在这一列组合中»= « =0 „ 

如果我们把原来两列的组合加进去作为第三列 


* 读者应该注 fiRI—r, “氓数 ”有两种含义，一种 Sn 维向*的*维数”，指的 
是有 n 个分 S ， 成者说指的是它为员> 另一种逛于空坷的维数，2 / 将给它下定义 
中的一条 S 珙 S — 维子空间，它的点是四维向置。 
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则情况就不 同丁， B 的列空间问于八的列空增加的一列是原米 
两列的和，因而也在图2.〗的平面内，但新矩阵 S 的化零空间就不 
同了.它包含向量 ） 的任何倍数 



也即的化零空 M 是一条直线，它包含所冇的点 X = C , y = C ， 

2 , C 为 一 W , «>之间的任 何数。 与任何子空间一样，这条 

直线通过 原点. 这个一维化零空间有一个垂直空间 （ 一个平面）。 
该垂直空间与矩阵的行有直接关系，有着特别的重要性， 

总之，对任何一个方程组 / U =&, 我们都要求出所冇存解右 
端 b , 求出 Ax =0 的所莉解.也即，我们要计算出上述益间的维 
数,和张成上述空间的适当的向量集合.本章结束时，我们希望弄 
淸楚四个子空间， A 的列空间， A 的化零空间，以及这两个空间各 
自的垂直空间。这四个空间彼此之间及这四个空间与 A 都有密切的 
灾系。 

练习 2.1.1 为证明对向量空间，耍求 （ i ), ( ii ) 是彼此独立 
的，谙构造二维空间的两个子集： 

O ) 对向量加法和向 S 减法都封闭，但对数乘不封闭： 

( fc ) 对数乘封闭，但对向量加法不封闭， 

练习 2 .丨 .2 试判断 J ? 3 的下列子集是否为子空间. 

(a ) 第一个分量0的向置平面. 

(b )iM = 1的向量&所成乎面 f 

(c 0的向量 b ( 这是乎0和平面 b s = 0这两个 

并）， 

( d ) 单个向敁 b =(0,0,0). 
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( o 向 M = (1 , U ) 和 K = (2,0 , 1 ) 的所有组合 t 
(f ) 满足 h — + 的向觉 （bh b s ) c 

练习 2.1.3 验 W . A 的化零空间是子空间，也即验证任何齐次 
方程组 Ajt =0 的解 X ,对加法和数乘都封闭举出一个6年0时* 
A « 二 b 的解不是子空间的例子. 

§2.2 m XII 方程 组的解 

对于方阵，消去过程我们已经很熟悉了，射于校方矩阵，消去、 
过程，我们只需举一个例子，就可以解释清楚。正向消去没有多太 
差别，反向代入有些不同。 

举例之前先看一下方程议 = b ,这是一个未知数的一个方程， 
显见有三种可能《 

( i ) a ★ 0。此时对任何的 b 都存解* = b / o , 而且这个解是唯 
—的 s 这是非奇异的情瑕. 

( ii ) a =0 , b = 0 t 此时有无穷多解。任何 X 都满足 OX = 0。 
这是不确定情彤，解存在，但不唯一。 

( iii ) a -0, b 士0„此时无解，没有 x 可以满足 Ox = b a 这是 
不相容情形， 

对方阵，这三种可能都可以发生.对长方阵，则不可能有情形 （0, 
即不可能対每一个 b 解都存在且唯一„ 

我们选择一个不太明显的例子.先不管右端而单独地考察 3 X 
4矩阵 

1 : :: ]. 

% 3 0 J 

主元 = 1不为零，照通常的消去运算化该主元疋下方的元素为 
雩，得 
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A— 。 0 S ; • 

L 0 0 6 2 J 

第二个主元力寧，它正下方的元素也为枣，行交换无济于事》如果 
逛方阵，据此即可断定矩阵是奇异的，消去过程应该停止，对长方 
矩阵则不然，应该考察下一列.下一列的主元不为零。从第二行减 
去第二行的两倍，得 


叫 0 0 3 1 . 

L 0 0 0 0 j 

第四列主元处的元素已经为零，正向消去完成. 

最终得到的 U 是一个上三角阵，或者更确切地说是一个上阶梯 
阵。主对角线下面的元素都为零，非零元素的 i . ;满足 i < J , 
对长方阵，这些非零元素摆成的区域是一个阶梯形，由图 2. 2可见， 
对一般长方阵， C ； 的非零元素所成区域的下沿是台阶 状的。 图中带 
圈的星表示非零主元.星表示可以不为零的元素， 

我们将图 2. 2的特点 陈述如 下： 




V 兰 


~ p * j © »*•*.*** 

0 0 o"l® * * * * * 
0 0 0 0.0 0 0 o|® 
.ooooooooo. 


ffl 2.J 典.型阶梯阵 U 的非零元索 

Ci ) 非零行集中在上方 （ 否则进行交换 ） ，非零行的第一个非 
零元素是主元。 

( ii ) 主元的正下方是消去法得到的零„ 

( iii ) 每一个主元都位于它上一行主 xStl 右面， S 就形成了阶梼 


* 56 * 



练习 2.2.1 图 2 . 2 的阶梯形状是在一些可以作主元的元素为 
零 （ 罔中第3列和第 5- S 列就是）的情况下形成的 a 试画出主元都 
不为零情况下 5 X 9 矩阵的阶梯阵试举例证明，即使在 2X2 情 
况下，两个阶梯阵的和也可以不是阶梯阵，也即两个阶梯阵相加可 
以消去主元， 

我们是从 A 直接得到 C 7. 读舂会问，这里的 [/和 A ,是不是也 
与前面一样，由一个 i 相联系，即及=1[7 呢？ 没有理由不是 s 首 
先消去步骤是一样的，每步同样都是从一行减去另一行的倍数 * 其 
次，每步还原也与前_叫‘一样，是把减掉的倍数加回去。各步的还原 
可以总起来由一个 L 一次完成， 

叫 2 10 . 

L - 1 2 1 J 

读舂应该验证 A 二 L 17。 请注意 L 不是方阵而姪方阵.它的阶数 

3 ,等于 AT 11 U 的行数， 

我们的例子中没有进行行交换，一般情况下是要进行的，与 
§ I . 5 — 样，那就要引进置换矩阵 P 。先用 P 左乘 A , 就得到经这了所 
有行交换的矩阵。对新得到的矩阵就可以顺利地进行消去法„由于 
这里在一列中选不到主元时，可以转到考虑下一列，因而不要求 A 
非奇异。 


下面是本节主要 定理。 

2B 任何一个 m x ft 矩阵都对应一个置换矩砗 p , —个主对 
角元为1的下三角阵 L, 和一个上阶梯阵 U, 使得 PA=IX7。 
我们的目的是在解存在的情况下，写出 Ax=b 的解. 

先考虑齐次，也即& = 0的 情形。 此时行运算不改变方程右端 
的0 , Ax^ 0 化简为 0 , 




未知敌 r；, w. y 分为两组，一纽叫葸本变贳，由非零主元所 
在列的变贵组成，第一，笫三列的主元不为零，冈而IV就是基 
木变^另一组叫 ft 山变由零主元所在列的变量组成，笫二， 
笫四列的主元为零， 闪而' y 足 CJ 由变跫。 

为求栉 ( 岜是)的通解，让自由变量取任意值。 
我们齔取 y 和 y 为任意值。这样基东变量就完佥确定了.就可以用 
反向代入.求出它的以0山变量表汞的表迖式^反向代入 
由 3 W + y = 0 得 W = ^ ■ 

再由 w+3u+3w+2y=CI 得 u = — 3 v — y . 

有 两个自由而独立参数 y 的 方程组 ，其 解具杳 , 
通解 为组合 



我们来考察 0 的写成了形式 O ) 的解 s 向量 （ _ 3 ,1 ,0,0 ) 是 
自由变量 y = 1 , y = o 时的解，向邊（ 一1, 0，-+，1 ) 是自 
由变蛋 W = 0 , y - 1时的 細1 yu = 0的一卽解都是这两个解的 
线性 组合。 这与24珣情形类似，那 Si 所有冇解的右端&都是矩阵 
两列的组合.这里把 A 的两列换成了 A 的化零向量（即 AS =0 的 
解）. 解向量以 A 的列数为维数，分量个数是 ft 不是 m 9 

几何上，在所冇可能的向量 * 所成的四维空间中， >U = 0 的解 
构成一个二维子空间—— A 的化零空间 s 可以把这个化零空间看成 
由向量 （一3,1,0,0) 和 O , 0, —1) 所成的一个•平 面' •（画 
不出四维图 形来！ ） 这两个向量的组合构成一个集合。该集合对加 
法和数乘封闭„这网种运箅构成这两个向量的大量组合^所冇这些 
组合构成化零空间， 
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我们可以介绍一个极重要的定理了 .考虑一个列数大于行數， 
即^>«1的矩阵。由 T 最多可以右 m 个非零主元（每行一个），因 
而至少布个 Q 由变试，自由变 M 的个数可以多千个 ， U 
有为零的行时，如我们所述的例子，自山变量的个数就多于 
让一个自由变量取任何值，可得如下 结论： 

2 C 未知数的个数多 T 方程的个数时，齐次方程组 A ； e =0 必 
有非平凡解，即必有 X = 0 以外的解 X 。 

解 X 的任何倍数《都满足 A ( cx )^ 0 ,因而我们的结论实际上 
是有无穷多解。每增多一个自由变 S , 化零空间就增多 tt 维空间中 
一条吏线.化零空间是维数等于自由变盪个数的子空间„ 

非齐次，即 b 扣0时，情形就很不間了„回到我们的例子 
b 。 对它的两端进卜/化 vl 为 U 的运筧，得上阶梯形组 c , 



右端向《 c 是消去运算所得结果，与前章一祥 F c ^ L -^ b a 

该方程组是否有解还不清楚，首先是第三个方程，它的左端为 
零，因而，如果 + 0 ,该方程组就无解，換句话说， 

有解右端 b 的集合不是整个的三维空间„即使变量的个数比方程的 
个数多得更多，也可以无解. 24讲了考察这种方程组的另外一种 
方法： Xx = b 当且仅当 b 属于 A 的列空间时才可解， A 的 列空间 
由 A 的列（不是17的列） 

张成。虽然这11足四个向 ft , 但它们的线性组合只充满三维空间中 
—个平 面， 这是因为第二列是第一列的 3 倍，第四列等于第一列加 
上第三列的 +( 注意，相关列第二列，第四列恰是没有主元的列）， 
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砰在我们可以用两种完全不冋的方式来描述列空间。一方面，它造 
列1 fir 列3张的成平 M, 列2,列4在该平而中，这足?丑个不增加 
新东西的列。另一方 [ilL 它足山满足 h —2h+5bi= 0的点 (h , 
b E , b , ) 所构成的平而，这是为使 （ 4 ) 有解， b 所必须满足的约 
束，读若会相 fiV 这两个平面是相 問的， a 的四个列向跫都满足这一 
约束。几何上，我们将宥到向_ 2 , 1) 垂直于上述平面， 
因而也就垂直于 A 的毎一列。 

y 假定 E? 在上述平而上，因而属于 A 的列空 _ 间，那么的 
Y 解就容 M 求得》方程组 （ 4 ) 的最末一个方程已经为 t) = 0。If 前面 
一样，让自由变贵〃和3 1 取任何值，那么反向代入 

从 3w+y = W — 2卜得 y+— 

再从 W-l- 3w+2>> = &i Vi - u = -Zv — y - Y ' ib ^ bi . 

所得解又是有着双重 无穷。 将《, w 用 y 表示出来，则通解为 
_M ( 也一〜 I 


- 0 

与齐次情况下的解 （ 3 ) 柑比较，这11加上了向 #(3h— 0, 
-|-(b 2 —26,) . 0 ). 该向觉是 Ax = b 的特解 D 办=&的通解X是 
A^= b 的一个特解与 A«= 0的通解之和 • 几何上，这些解又是在 
四维空间的一个平面上，但是它们不构成子 空间， 因为这个平面不 
通过 原点， :^ = 0不是 >U=& 的解，该平面与前面的化 
零空间平行，但不重合.它沿 着特解 向贵移动了一段.齐次方裎组 
0的解构成子空间，非齐次方程组 Ax = & 的解不构成子空间. 
如果 AJ( = b, Ax ! =^ b , 那么这阏个解的和；;〃将满足= 

注窓，我们的特解是所有解所成乎面上的一个点。该平面上任 
何另外的点也可以作为特解.我们的特解对应于自由变量的特殊值 
w = 0 , y = 0 0 
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埂将 G au s s 消去法闬于 K 方阵所得结论总结 如下： 

2 D 假定 m x tt 矩阵 A 已绘通过初等运算和行交换化成了阶梯 
阵又假定 IV r 个非零主元，[/最后的 m _ r 行为零，那么对应 
于有主元的列将有 r 个雄本变 M , 对应于没有主宂的列，将有 《 — 夂 
个自由变量 ， Ax = 0 的解所构成的化零空间有作力独立参数的 《_»• 
个自由变量。如果 r = n , 那就没冇自由变化寧空间就只包含 
x = 0 s 

当且仅当 r = m 时 = 对任何 b 都有解.此时主元个数为 
U 没布力零的行，可以用反向代入解 t ^ = c 。 r < m 时， [； 有 
m _ r 个为零的行，此时为使冇解， b 应受到 m ~ r 个约 束。 
这 》i — r 个约 東由 = c 的最后 m — r 行给出.如果有一个特解，那么 
办=&的任何一个解都是这个特解与的化零空间中一个向量的和„ 
数 | •叫做矩阵 A 的秩. 

练习 2.2.2 造一个未知数的个数多于方程的个数，但无解的 
最小方程组。 

练习 2.2. 3求 

r 1 2 ° 1 1 

0110 

1 - 1 2 0 1 J 

的分解式 U ；。 决定基本变量 和臼由 变量，求出 A «=0 的通解，并 
将它写成类似于（ 3 )的形式，问 A 的秩 是几？ 

练习 2.2. 4求矩阵 



的阶梯阵 U , 基本变量，自由变.遺和的通解，然后对 Ax = 
b ( f > 的分量为& 2 )应用消去法，求出相容（有解）的 
条件和 （5) 形式的通解。又 A 的秩 是几？ 

练习2 . 2 . 5将矩阵换为前一题的转置矩阵 
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将在端换为 b s , b 3 , b 4 , 再做前一题， 

练习 2 . 2.e 求 

U : M [: H : ] 

的通解，并照 （ 5 )那样把它写成如 ab 的特解与 A «= 0的通解之 
和。 . 

练习 2.2. 7根据将第三个方程变为0 = 0 ( 消去法完成之 
后）所加在 b 上的约朿，写出 



的有解右端 b 的集 G 。 问秩 赶几？ 

练习 2.2. 8求出 c 的值.使得下面的方程组有解 
w+y + 2w= 2 
2u+ 3 d —iv= 5 
3W + 切 + W = C 

注.在很多教科书中，消去过程并不停止于求出而是将矩 
阵化为更简阶梯阵.更简指的是两点，一点是用主茺除主元所在 
行，使主元为十1»另一点是将主元正上方的元素也化为零，对本 
节中的 A , 更简阶梯阵为 

f 1 3 ° 1 1 

0 0 1 女. 

** 0 0 0 0 J 

非奇异矩阵的更简阶梯阵为单位矩阵 I 晟简 阶梯阵实际上是用 
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Gauss-Jordan 法计好出来的. G at! ss-j or dan 法实际在计算机上使 
用起来，运算 5 t 太大。 但婭 简阶梯阵作为 A 的一种准型”，它 
确实有着某种埕论上的 m 耍性。不管初等运箅如何选抒(包括行交换 
和行除法）， A 最终的最简阶梯阵总是相同的。 

' §2.3 线性无关、基底和维数 


数 m 和 k 标明了线性方程组的大小 a 上一节的 3X4 矩阵有三 
行四列，但第三行实际上是前两行的线性组合，消去过程变第三行 
为零行，它对齐次问题 A^=0 不起作用。第四列也不独立，第二 
和第四列都是第一、第三两列的线性组合.因而列空间退化为二维 
空间。 

2£»中出现的秩 r 是一个重要的数，在那里是用纯计算的方式 
引进的.它是正向消去过 W 所得非零主元的个数，等价于正向消去 
所得矩阵1/中非零行的行数。计算机可按此定义将秩计算出来. 
秩有着简单而直观的意义，它是矩阵4真正独立的行的行数。 
下而我们给出秩以及与秩有关的另外几个贷从理论上而不是计算上 
的定义。 

先定义线性无关。给定一组向量 …， 我们考察它们的 
线性姐合… + 权 c 都为零的乎凡钽合显然为零 

0h + …+04= 0。问题在于是不是有另外的组合也为零. 

2E 如果向…， h 的所有非平凡组合都不为零，也即， 
只在 c t ，…， 匕都为零时 

CiUi + ■■■-S-Ciy t = 0 ( 6 ) 

才成立，则〜，…， W 线性无关。反之.如果有不全为零的 Cl ，…， 
h 使 （6) 成立； 则称 〜，‘••， h 线性相关，此时 〜，…， w 中至少 
冇一个可以表示成其余向 M 的组合。 

例1 —组向量中只要有一个为淳，这组向量就线性相关。设 

h 为零，我们取以=3,取其余的 c f 都为零，得到的就是一个为零 
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的非平凡组合 《■ 
例2 矩阵 


13 3 2 

A= 2695 
L — 1 — 3 3 0 J 

的行线性 相关。 记行向 M 为 则扣广 2 h + h =0( 上 
—节对以该 A 为系数矩阵的方程组进行消去时，得到的 （4) 式，其 
右端第 H 个分量正是这一组合„在那该组合为零，方程组 = 
<=有解，否则无解 

例3 rtxu 吶位矩阵 


! 0 0 - 0 | 

'■*01' 

的行线性无关。我们用专门的符号心，…， e, 来记这些特殊的向 
量，它们是坐标方向上的单位向 S 

(?1 = ( 1 , 0 ,--, 0 ),---, e .= ( 0 , 0 ,*" , 1 ) ( 7 ) 

证明无关常用的方法足：先假定 一 个线性组合为零，再证朋假定的 
组合中权。都必须为零。本例中我们衔 

幻〜十 … + c a e,= (c! ,c L ,--,c t ) 

假定诙组合为零向量，显然 c, 都必须为零 。 因为没有非平凡组合为 
零，所以坐标向量心，…， e， 是无关的。 

例4 设 U 是一个 n X fi 的上三角阵，其对角线上的元素（主 
元）全部不为零，则[/的行线性 无关。 我们用例3的方法进行证 
明： 假定 U 的行的组合为零，即 n + … + c.A=C^ 由题设知％ 
的第一个分量中只有〜！不为零，因而 +〜 + c,h = 0 的第一个 
分量为I ； — 0 o 不为零，故必 c ! y j + *■• +c,y„= 0 

的第二个分量为 + 二 G 。 刚刚证明了 题给 

不为零，故必类推卜去，证得 c, 全都为零。 Hi 即 U 的行的 
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组合只在权 C . 全都为零时才为零。证得 t ； 的行线性无关 . 

M 样的方法应用于 I ；的列， W 为主元 全都不为零所以矩阵 U 的 
列线性无关《进一步，该推理方法亦可应用于任何一个阶梯阵中生 
元不为零的各 n (列） . 从而得如下结论 ； 

2 P 阶梯阵1/的 r ^非零行线性无羌，含有非零主元的列也 
线性 无关。 

我们强调指出，线性无关的定义与坐标无关.给定 n 维空间中 
fc 个点，从原点到这 fc 个点的向量能否组合成一个零向量，这与坐 
标袖时位置全无关系 D 坐标袖旋转将改变点的坐标，但对相关与赍 
不产生影响。 

另一方面，给定了任何一组向跫 h ，…，〜，它们的相关与否 
显然是要通过计算来决定的.我们讨论的对象是 (^1 + … + c t t ^ 
将…， h 写成以 h 力第 i 列的矩阵 A , 记权向量， c *) 
为 c ,则 

f I I I 1 Cl , 

Ac- y[ v 2 u t I !=Cit/ 1 + **-+c t u l . 

I t I iJ 

■ ill 

向鼍 …，〜当 £1 仅当 Ac = 0 存非平凡解时是相关的. Ac =0 是 
否有非平凡解用消去法来决定.当 A 的秩为 fc 时，没有自由变量， 
也就没有化零空间（除了 c = 0 ), 向量…，^是线性无关的 • 

A 的秩小于 Jc 时，至少有一个自由变量，让它取非零值，此时列向 
量是线性相关的„ 

存一种特别重要的情形，假定向量的分量个数为 m ,且允> 
m 。 此时 mxfc 矩阵 A 的秩不可能为 fc ,非零主元的个数绝对不能 
超过矩阵的行数，秩一定比 fc 小，从而未知数个数多于方程个数的 
齐次方程组 Ac = 0恒有非零解 c # 0 ■ 

2 G / c > w 时， R " 中的 fc 个向盘必定相关， 

请读者比较一下， 2 G 和 2 C 实质上是一间事。 
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例 5 考虑 


A 


的三列，中不能有三个线性无关向量，我们来求列的为零的组 
合，解 Ac = 0 

A ，=l ^ 1 i ]■ 

令自由变量为],刈 t / c = 1>进行反向代入，得 C 2 =—】， C , = 
I „由求得的 Ci , C 2 , c 3 知，第一列减笫二列，再加上笫三列得 
零。 

练习 2.3.1 m 求 Cw C : , c 2 , q 的办法判定下列向童是否线 
性无关 

° I 
1 : 

' 0 ! I 0 J ' ! | 1 1 

练习 2.3.2 例5中 A 的列向线性相关，问它的行向量是否 
也线性 相关？ 

练习 2.3. 3试证 

… c 
T - 0 d e 

L o o / ) 

的对角元素有一个为零，它的行就线性相关. 

錄习2.3.4如果 A , h 线性无关，问 w s = 

V , + v Zt w 3 = w 2 + h 是否也线性无关 ？ 

本章开始部分冇这样的话， A 的列空间由 A 的列张成。下面我 
们给"张成"这两宇正式下定义。 

2 H 如果向量空间 V 由向 ffiu ，，， …， w , 的线性组合构成.我们 
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就说这些向 M 张成③一空间。换句话说，，…， W , 张成 V 表示 
V 中的每一个向量^都可以表示成 wi , W , 的线性组合 

+ — c ; 为某一组系数 （8) 

对应于同一个向量 w 系数 c < 可以不只一组：系数可以不唯 一 ， 这是 
因为母集合可以很大，它甚至可以包含零向量。 

例6向量 WisC 1 , 0 , 0 ) , ^Vi = ( 0 , 1 , 0 ) , w 8 = 
(-2 , 0 , 0) 张成三维空间中一强平面 （ x - yf . 面）。 Wl , Wi 也 
张成这同一张平面，而 WI , 则张成一条直线 ； 

例7 A 为 mxn 矩阵。 A 的列空间由 A 的列张成，它是 m 维 
空间 K " 的子空间 （ 当然，它可以是整个空间 K " ) „ A 的行空间， 
定义类似„ Z 的行空间是 R _ 的子空间，是由 A 的行张成的（我们把 
行看成是的成员，虽然它的分童是横着写的）。如果那 
么行空间和列空间就都是的子空间，它们甚至可以是同一个空间* 
例8 中坐标向量 

ci = ( 1 , 0 ,…， 0 )， …， e,= (0, …， 0, 1) 

生成为证明这一结论，只须指出怎样把任何一个向童 
心，…，写成4的组合。事实上，分本身就是组合的系数 
x = x l e l + x 1 e 1 -l - l - x . e , 

本例中，向量组 e •足线性无关的 4 粗略地说，这组向 
量中没有多 余的. 例5的矩阵中有一列是多余的，它不给列空间增 
加东西。本例中，母组是最小的《去掉任何一个剩下的将张不 
成 K ' 这柞的尚量姐称为基底， 

2!向董空间的基底是 抖有下 列两条性质的向量组 
(1 ) 它线性无关。 

( 2 ) 它张成向董空间. 

这两条性质作为总体.对叫量空间理论是基本的基本„它意昧 
着基底所张成的空间中，每一个向量 u 都可以唯一地表示成基底的 
组合，〜 u t ( 兗间由基底张成，当然每一个向量都可 
以表眾成基底的 组合： 如果 u 还有另一种裘示 y = b lJfl + …+匕1；,， 



那么，相减得 0=^0, — bOh . 由基底线性无关得都为 
岑. 这证明了向量衷示成基底组合时，权是唯一的 ）， 

例 9 考虑通常的 x-y 平面（阄 2 .3 ) ,也即单个向量〜是 
线性无义的，但它张不成 K 2 。 三个向 fih , y I( 当然可张成 R 2 . 

沮它彳 f 〗不是线性无关的，这三个向贳中的任何两个都足的基底„ 
基底的两条性质它们都具备，它们既线性无关又张成 R 2 ,我们指 
出，向量空间的基底不唯一， 



S 2.3 二维空间;; 2 的坻组 和基底 

例10考虑例2中 A 所对应的阶梯阵 
r t 3 3 2 

[；- 0 0 3 1 |. 

L 0 0 0 0 ^ 

U 的四列当然张成17的列空间，但是这四列不是线性无关的.基底 
的取法耵多种可能。我们建议取非零主元所在列 （ 本例是对应于基 
本变量的笫一，第三两列）为列空间的基底。在 2 F 中我们指出了， 
这种列是线性无关的，易知它们张成列空间。事实上， U 的列空间 
恰恰是中的平面。 

练习2,3,5用语言或在乎面上作图我示出 1 的 

3 6 J 
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列空间和行空 间4 并写出它们的基底 d 

嫌习 2.3.S 根椐主元求出 

r 0 1 4 3 - 

0 0 2 _ 2 

U = 

0 0 0 0 

- 0 0 0 0 ^ 

的列空间的基底，并将非基底列表示成基底列的线性组合。苒求出 
U 的行空间 （ 它适 R 4 的另外一个子空间）的基底。 

练习 2.3. 7假定我们把毎一个2 X 2 矩阵都看成一个"向 
m ". 虽然它们并不是通常意义下的向量，但我们也有着矩阵加法 
和数乘矩阵的规则，而II二阶矩阵对这两神运算封闭。试求出该向 
量空间的一个基底。又问由所有阶梯阵 c； 张成的子空间是什么样 
的？ 


练匁2,3.8 R 3 中前两个分量相等的向董构成一个子空间.试 
求出该子空间的两个不同的基底. 

练刃 2.3. 9试举出下面这段话的一个 反例： 如果，…，\ 
是向量空间的一个基底，又如果呢是一个子空闽，那么〜 ，…， 
u 4 的某个子集构成叹的基底。 

尽管基底无穷多，不唯 一. 但一个向量空间的所有基底却有着 
共同点。这共 R 点是向量空间的本质属性。 

2J 14量空间V的任何两个基底所含向量个数都相等.基底的 
向量个数，表示V的"自由度”的个数，称为V的维数。 

当然同一空间的基底所含向量个数相等，这一事实需要证明„ 
首先，我们要求读者回过头去看看举过的几个例子，看看它们的维 
I 图2. 3 中的 X - y 乎面，它的毎一个基底都含有两个向量，维数是 
2 . 更一般地，尺_的维数是坐标向量 e ; 是 K 1 的用起来最方便的 
基底，例 10 中， U 的行空间是只 4 的二维子空间，列空间是 R 3 的二维 
子空间 = 零矩阵 A =0 冇些特殊，它的列0间和行空间都只贪有一 
个零向踅，这两个零向^分别属于 iT 和为方便起见，规定零维 
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空 M 的芘 底是空集， 

关 T 维数的定理 2 J 等价于如下 定理： 

2 K 假定…， 、和 IV ,,…， w a 赴同一向量空间 V 的两个 
辄底，咄必 

证明 钲明 fft 方法逛，假定出丢 M, 譬 如说爪 <», 从这个假 
定导出矛盾，从而达到证明 mtn 。 由于 U ,,•••, 〜菇基底，它应 
该张成空间 V , M 而每一个都可以写成〜， +••, 〜 的组合 

Wi = dnUj -i - (■£T„jy„= 2 a * 凡 . 

1=1 

当然，我们不知道权 m 但我们还是可以考察 wy 的组合 
(:⑽十…十 C , W ,= 2 2 a >^] 

i -i 1-1 

= 2 a [ 2 ⑹ c (]* ( 9 ) 

i-1 i -1 ^ 

该 " 二重合"的这一改换次序，相当于求矩阵全体元素之和时，是 
将先按行加苒按列加，改成了先按列加再按行加， 

考虑方程组 ■2 I a i j ' Cj = 0 , i = 1 , ••*, m , 这是一个 mx ft 齐 
次方程组，我们假定了因而它有非平凡解 c = 
c .). 将公 1 #:= 0代入 （9), 得到以该非平凡解为权的组合 
十… + c « w ,= 0 , 

这崁明向量不是线性无关的，与题给 w _ f 线性无关矛盾 4 这就是说， 
我们所做的 m < M 的假定丧错的„这就证明了 m = tt , 

这里的证明方法，与证明 2 G , R ™ 中任何 m + 1个向量必定线 
性相关，所用的方法是一样的。 亊 实上，更一般的结 果是： fc 维子 
空间中，个数多于 fc 的向量组必定线性相关，个数少于 fc 的向量组 
必定生不成 fc 维子空间。 

M 外冇 “对偶 ”定 M , 我们只列出其中的一个，它使#我们可 
以把一组向量扩太或缩小为一个基底， 
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2 L f 中任何一个线性无关 m , 都可以加上必要的向量使它成 
为基底。 

v 中任何一个母 m ,都可以去掉多余的向量使它成为基底。 

练习 2.3. 10假定及 3 中的向跫 ' 2满足 X 十 y + z =0 •问 
\ y 、 Z 所张成的子空间的可能的维数是什么？对每一种可能举出 
—组 a , y , z 。 

r 1 2 1 -i 

练习 2.3 .n A = L 试将 A 的行集合扩大为 R 3 

L 0 0 4 J 

的基底，槪 A 的列集合缩小为的基底。 

练习 2.3. 12已知 V 的维数为 fc , 试证（可 用对 偶定理 2 L ) 

(0 V 中任何 fc 个无关向量都构成一个基底， 

( ii ) x 张成7的任 ☆ fc 个向量都构成一个菡底， 

这表明，向 fi 个数等: P 空间维数时，轴底的两条性质等价。 

练习2.3.〗3求 3 X 3 对称矩阵空间的维数和一个基底„ 

练习 2.3 .丨4试证，如果 V 和妒是 K 6 的两个三维子空间，则 V 
和 W 必定有共同的非零向遺。 扼示： 考虑这两个空同的基底，共# 
六个向量. 

关于线性代数用语的一点注总： “ 矩哼的基底' ”行空间的 
秩_ , “基底的维 数"， 这三句话我们都没使用过.它们是没有意 
义的.我们用过这样的话，行空间的维数等于矩阵的秩。 

§ 2.4 四个基本子空间 

前一节讲定义，没讲构造方法，讲了什么是基底，没讲怎样求 
出基底。现在，我们从子空间的描述出发，讲基底的求法， 

描述子空间的方式通常有两种.一种是给出一组向量，由它张 
成子空间•对行空间和列空间都足这样描述的。另一种是给出子空间 
所应受的约粜。此时告诉我们的，不是哪些向 ft 厲于子空间，而是子 
空间中向量所应满足的条件，例如化零空间就是由满足 Am = 0的向 
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量组成的，方枰泔 / U = 0的每一个方程就是一个约隶。在第一种方 
式中可以有多余的行或列，在第二种方式中可以有多余的约束。在 
两种方式之下都不能直接写出基底，都嬰求有进一步的具体 方法。 

读养可能想得到，这具体方法是：根据消去过程中产生的 L 和 
U (以及 P ) 来求与 AYj 关 的各子空间的基底.讲过具体方法之 
珩，尽管那要使本节篇幅加长，我; n 还是要考察两种特殊的 情形： 

(i) 秩 r = I 的情形，此时行空间和列空间都特别简单， 

( ii ) 也即矩阵打左逆矩阵 B , 或 
打右逆矩阵 C , 或行双 边逆阵 A — 1 的情形 3 

下面我们对四个基本子空间逐个进行讨论，这四个子空间都与 U 有 
关系，都容显求得.我们的问题是找出他们与原矩阵 A 的关系， 

1. A 的行空间对 A 进行消去得到阶梯阵 t ；, U 的行空间可 
以直接写出：维数等于秩 r , 基底是1/的 r 个非零行。幸运的是， 
关于 A 的行空间也同样的 简单。 

2 M A 的行空间， U 的行空间，它们的维数同为 r ,基底相 
同，因为这两个行空间相同， 

两个行空间所以相同，是因为尨本运算不改变行空间。新矩阵 U 的 
每一 行都是原矩阵 A 的行的组合=山此得知， U 的行空间包含在 A ' 
的行空间之中；又得到 U 的每一步都可以用另丹的基本运算复原回 
去，因而 A 的行空间包含在 LT 的行空间之屮 a 

A 的 m 行张成行空间。根据 2 L , 我们从 A 的 m 行中去掉 m _ r 
行来得到行空间的基底。但应该去掉哪 些行？ 这往往是难以决定 
的. H 此，我们没有那样做，而是取 U 的非零行作 A 的行空间的基 
底，这要容易些《 

这一推理也可解释前面关于秩的定义.前面定义秩/■为 U 的非 
零主元（或非零行）的个数，并未考虑不同的消去运算可以产屯不同 
的阶梯阵现在我们知道了，这不同的每一个阶梯阵的非零行都 
可以作为 A 的行空间的 基底. 所有这些基底的成员个数都相同，因 
此，我们可以重新定义 r : 秩是行空间的维数。 

■ 72 - 



2. A 的化零空间消去法本来的目的是，把线性方程组化简， 
保持解不变 a 1 U 容易求出，方程组 A ^=0 被化成,而 il 这 
— 过程可以还原。由此可知， A 的化零空间与 U 的化零空间相同， 
m 个方程 A ^ = 0 给予化零空间的 m 个约柬中只有 I •个是独立的 ， A 
的任何 r 个线性充关行，或者更确切的， C ； 的 r 个非零行就是这 r 
个独立的约束. C ； 的 r 个非零行为 r 个独立的约束这一点，提供我 
们一个求化零空间基底的方法。 

2N A 的化零觉间（记为 .，（A)) 的维数是《 - r ,它的基底可 
以从 t^ = 0 求卩。 Ux -^ 0中对应于不含非零主元的列有 n — * •个自 
由变 ffl. 求法是依次让一个自由变量为1 ,其余的自由变量都为 
零， ffl 反向代入解得到的 ft _ r 个向量就是.水 '(A) 的基 
底* 

在 2 B 后面的例子中，@由变量是 y 和 y, 基底是 
卜 3 

v = 1 ■ 1 ； u = o 

x t = I: Ms 

y = 0 0 I 

\ o ; 

岛知在本例中以及在一般情况下，这样得到的 向量心 都是浅性无关 
的，任何一个组合 Cl i+c 2 心的分量。都为 Cl , 分量 y 都力 Cs ，因 
而只在 q =c；i = 0 时，才有这两个向量张成化零空 
间.组合 yA+yA 是通解 • 这样 ft 一 r = 4 ~ 2个向量《，就是基 
底， 

A 的化零空间也称为 A 的核.化零空间的维数简称零度，记零 
度为 v(A), 它与 A 的秩的关系是 

>(/)=^'(八）的维数=?1-?' <1 

3. A 的列空间记 A 的列空间为涿 (A), 也称它为 A 的值域. 
通常的函数/涉及定义，定义域，值域，值域是函数值/00的 
全体， 这里的 x 都在定义域中 a 在昀量情况下，函数 /0：)=Ax 的 
定义域是的所有向量，值域是所有可能的向量 &( 换句话说， 
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是所冇使 & = & 有解的 b ) 。 我们知逍，这也就是 A 的列的所冇可能 
的组合，值域也就是列空间 a 我们采用列空问这一术诘，但也使用 
记妤涿( X )*。 

我们的何题是求戍 ( A ) 的基底和维数，自然的一个想法是 ，让 
A W 列成为另一个矩阵的行，那么我们耍考虑的就又是一个行空间 
r. 这另一个矩阵是 x 的转置矩阵由于 a 的列是 /r 的行， 

就适一个 n X m 矩阵.转置把 A 的每一个元素都变到了它自己的 
'‘ 镜像位置上 （ 以主对角线为镜面），0^) ; ;_ =及/,。同时 ， A 
的行就成了 A 11 的列，由此得到 X 的行空间的労一个冇用的记号 
涿 U T )。 即把4的行空 间记为 A 1 •的列空间。这样行空间就成了列 
空间。 

1然，我们可以把化为行梯阵，从而毕实上对 A 的列空间 
进行考察。似我们不这样做.转置矩阵奋 益许多 应用，但不这样 
用.为避免引进的秩，避免构造新的阶悌:我们希望用 A 的 

«和 》• 来表沄列空间的维数。 

须强调指出 f A 的列空间与 LT 的列空间是不相同的^消去过程 
保持行空间和化零空問不变，但不保持列空间不变，比较一下 
f 1 3 3 "1 r 1 3 3 

A = 2 6 9 5 Ml 1；= 0 0 3 

-1— 3 3 0 J ^ 0 0 0 

的列，可以淸楚地符出它们的不同，然而它们的列空间的基底之间 
却有着可助我们利用的关系，这关系是，它们构成基底的列所处位 
置相同 • 例如 U 的列空间的基底由 [7 的第一，三两列组成， A 的列 
空间的基底也由 A 的第 一， 71两列租成。所以有这样的关系，这原 
因是，方程组以= 0 和如 = 0 等价，冇着相同的解.根据矩阵乘 
法，对每一个解， Aa := 0 , 0都朵自己的列的以？(的分量为 

权的一个线性关系。閃此，如果 A 的某几列线性无关，那么 [/ 的对 

，书中用十写宇母『代表秩 t 用花写字母身代苦列空间。 
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应的列也必线性无关，反之亦然' 在我们的 A 和 [/ 中，最后一列 
都等 T 第一列加上第二列的三分之一，第二列都等于第一列的三 
倍。 

这样，我们把求深 ( A ) 的基底转化成了求 [7 的列空间的基底， 
2 F 讲过了， U 的列空间的基底由 t ； 的含有非零主元的列组成，我们 
把这一结果转到 A 上去，就得到 

20列空间浼 ( A ) 的维数等丁 A 的秩，等于 A 的行空间的维 
数，也即无关列的个数与无关行的个数相等。深 ( A ) 的基底由 A 的 
r 个列组成，这 r 个列对应于 C 7 中含有非零主元的列 5 

行空间、列空间维数相同，这是线性代数中最重要的定理之 
常常把它简写为 “行的 秩=列的秩”.对于任意一个 10 X 12 的 
矩阵，上述结果是不十分明显的， 

为再一次说明 U 的列空间的维数为 r ,我们考虑一种 r = 3的 
情形，阶梯阵有三个线性无关行 

.1—*— • • * 

0 0 0 | d 2 * . 

17= 0 0 0下一 [ I d 3 

I 0 0 0 0 0 0 

'■0 0 0 0 a o 

我们断言它有三个无关列，并旦只紅三个，就是含有非零主元的三 
列.因此，如果我们能够证明这 H 个基本列（第一.四，六列） 
线性无关，那这三列就是以（不是 A ) 的列空间的基底，假定这三 
列的某一个组合为零 

/ dl 、丨，： 丨 • ） （ 0 1 

0 , d, ； f I * i j 0 

Cl n + C2 十 Ca 1 s i =, . 

_ m ：! un :, 

* 我认为这是本书到现迮为 止赴巧 妙的论证 & 由它导出的结论20也是本书到现在为 






自下而上，首先由得0必为零，再由 d 2 40 得 <: 2 必为零， 
最后得 Ca = 0 . 这就证明了这2列线性无关，也即它们构成基底， 
用于 HR 仅当 a 、: = 0时龙存 A >:= 0 ,我们应该収 A (尽管在本例 
中尚不知道矩阵 A ) 的第一、四.六 列为深 （ A ) 的基底， 

下面我们來讲第四个子空间。虽然我不曾提到它，但由前面的 
三个子空间淡 ( A r ), - r ( A ),^( A ) t 我们不难想到这第四个子空 
间为/ ( A T )。 

4. A 5 •的化零空间它蕋 R 1 " 的子空间，山满足的向量 
组成. 也即山 A 的列组成，这些 列以％ …，为权组合起来成为 
零列 • 由于 A 1 •的列是 A 的行，我们可以变0力行向逛的方 
程 

y r A =〔 y , 卜!； 0…0〕. 

I " J 

有时称这样的行向量 ，为 A 的左化零向跫， A 的行以 …， y •为 
权组合起来成为零行„ 

的维数容易求得。任何一个矩阵，基本变量的个数加 
上0由变量的个数都必定等于总列数 a 换句话说 

秩+零度=列空间的维数+化零空间的维数 

=列数- (10) 

这一规则也适用于它有 m 列.由行的秩=列的秩 , 我们 
得到 

产 + l ( A r ) 的维数 = m , ( H ) 

2 P 左化零空间 .，（ A r ) 的维数为 m—r . 

为了求得荜底，我们考虑 JM = IXT 或厂 1 /^^!：/， U 的最后 m — 
r 行为零，因此的最后 m — 行就是左化零空间的基底，这些 
行乘上 A 都得零。 

四个空间的维数我们都知道了。现归总列农如下， 

线性代数基本定理（上） 

I 戌0^)=八的行空间，维数为 r 



2. 的化零空间，维数为 

3. 淡 ( A )= A ^ 列空间，维 tt 为 r 

4. ^\ A r )-A 的左化零空间，维数为 m — r • 

练习 2.4.1 如果 m = « ,则 A 的化零空间等于左化零空间* 


何这一结论成立否？ 

练习 2.4. 2试求出习题 2.2. 4 中矩阵 

,4 ° 1 4 ° ] 

[U 2 8 0 j 

的四神子空间的维数，并构造出它们的基底. 

练习 2 . 4 . 3试求出下面矩阵的四种子空间的维数和基底 


；： ：]. 

*■1 2 0 I J 

练习 2.4. 4试描述下面矩阵的四种子空间 

[' 0 1 0 0 \ 
j 0 0 1 0 

A=\ ' . • 

； 0 i>0 1 

' 0 0 U 

练习 2.4. 5 试证，如果两个矩阵的积为零矩阵， AB =0 , 则 
B 的列空间包含在 A 的化零空间之中， 

练习 2.4. 6 试解释，为什么当且仅 SA 的秩等 TiV 的秩的时 
侯八《=&才可解， Y 是把 b 加到 A 上所成的矩阵.提眾：秩是列空间 


的维数，方程组当且仅当 b 在现 (A) 中时才可解， 


秩为1的矩阵 

给丁一个复杂的东西，怎样证明它是由一些简单的东西组成 
的，这是数学上一个基本课题.我们看到的下三角矩阵 L 是若干基 
本矩阵的乘积，就是一个这样的例子.现在我们把秩的大小作为简 
单程度的标准，并引进秩为1 ,即 r = 1的这样一类矩阵.矩蛑 
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A = 


8 


4 


就是这类小:阵中的一个，它的每一行都是第一行的倍因而它的 
行空间的维数为 1 „事实上.我们可以将该矩阵写成一个列向量与 
一个行向量的积 



4 X 1矩阵与1 X 3 矩阵的积足4 X 3矩阵，积的秧是1 „我们指 
出，该矩阵的列也都是一个列向设的倍数，列空间的维数为1,为 
—条直线。 

任何一个秩为 I 的矩阵 A 都可以分解为 A =«，这样一种简单 
形式，即行都是同一个行向量^的倍数，列都是 R —个列向: ft U 的 
倍数， 

最后一节我们讲述怎样把一个秩为 /■ 的矩阵分解成 r 个秩为1 
的矩阵的和. 

珠习2.4.7 a , b , c 已给，且 a 与0 • 试求 d , 使 



的秩为 1 ,在求得的 d 之下，将 A 分斛为 
练习 2 . 4 . 8 试求出秩为 1 矩阵 

2-2 
4—4 
0 U 

的积 AB 。 将 A 和 B 分别写成并验证积是若干 




* 7S ^ 


倍，这倍数是内积 〆 W, 

练习2 . 4 . 9在 ^ y 乎面上画出前题矩阵 A 的行空间和化零空间. 

逆矩陈的存在 

从 §1.5 我们已经知道，如果 A 既有左逆矩阵/ ). 又 
右右逆矩阵 （AC= ， 则这两个逆矩阵必定相等， B = B(AC) = 
(BA)C=C。 现在司'以根据矩阵的秩容易地判断出一个矩阵有无 
左、 右逆矩阵。粗略地说，一个矩阵，当且仅当它的秩为可能的最 
大时，才有逆矩阵. 

秩^恒满足 r < m , 。因为 mx fi 矩阵的无关行的个数 

不能多 T ' m , 无关列的个数不能多于我们要证明，如果 r = 
m , 则有右逆矩阵 ： 如果 r = 则有左逆矩阵。在前一种情况下 

必有解，在后一种情况下，解如果存在，则必唯 一 。 只在方 
阵的情况下，才可以既有又有 r = 因而也只在方阵的 

情况下，二 b 的解才能既存在又唯一。 

2 Q 存在性当且仅当 A 的列生成 R 1 * ， 也即\=肌时，姐 
Ax=b 才对每一个 b 至少有一个解 4 此时存在一个 rt X M 右逆矩阵 
C , 使得 AC = J », /„为抓阶单位矩阵，只在时，才可能有 
这种情况 5 

唯一性当丑仅当 A 的列线性无关，也即 r =«时，组 
才对每一个&至多有一个解。此时存在一个《 X m 左逆矩阵 S ,使 
mA = l ., /■为 n 阶单位矩阵。只在时，才可能有这种情 
况， 

在前一种情况下，一个可能的解是《=0&,因为对 ;《=(：& 我们有 
Ax = ACb - b . 但是，如果 A 有另外的右逆矩阵，那就将有另外 

的解 „ 

在后一种情况下，如果有解，这个解必须是 
Bb , 但是可以无解\ 

*) 在"唯的下，解的个数是0或 1) 在《存在》的佾况下，解的个数是 
1或％ 
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例考虛秩为2的 2 X 3 矩降 
f 4 0 0 1 

"4o 5 oJ 

由于 r = f 7 T =2, 定理保证軻右逆阵 C 存在，使得 



事实上，有很多这样的右逆矩阵，因为 C 的最后一行完全任意 


c > i 

'C 3 1 C 32/* 

这是存在但不唯一的例子， 

作为另一方面的例子.我们考虑 A 的转置矩阵 A 1 ■是3 X 2 
矩阵，秩也是2,它有无穷多个左逆矩阵 



现在，完全可以任意的是 B 的最后一列，事实上， B 也足 C 的转 
置。 

这个例子启示我们关于构造 B , C 和关于证明 2 Q 的一般方法， 
下妬我们对■■存在"和"唯 一 _’两种情况分别进行讨论。 

( 1 ) 存在已知 A 的列张成 R ' 从而秩（列空间的维数）为 
因此，每一个向量6都可以表示成 A 的列的线性组合， 当然， 
坐标向董〜，…，也可以作为这样，至少对每一个 

我们都可以求得—个解\用 &作第 f 列的 nxw 矩阵 
就是我们所要的右逆矩阵 C , 

AC = A (, x t , ；0 = 0 j ， …， 
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(2) 唯一 已知 A 的 n 列线性无关，从向'秩为 n . 因此,没有自 
由变 M . 化萃空 间只包 含一个0 s 这样.如果 Ax = b 冇特解，它就是 
唯一的解。左逆矩阵的玆简单的构造方法是考虑它是一个 》x 
in 矩阵，由基本定理知它的秩也为 r = L 现在是秩等于行数.这 
样，我们就可以对应用本定理的存在部分。从而有右逆矩阵（记 
为 0 .) 存在.使得转置得0 ^=乙.<^就是我们所要的 
左逆矩阵 B 。 

构造这两种逆矩阵，还冇一个更简单的方法.把 B 和 C 写成 
和 C = A t {AA t )'' 

当然 AC = /, 但 — 1 和 ( AAO ” 的存在并不那么明显. 
需有加到列空间上的条件 给以保 证。后面 3 G 将证明 A 的秩为 ft 时， 
可逆， A 的秩为 m 时 AA 1 •可逆。 

把 A 看成从到 K " 的一个变换枭很自然的„任给中一个向 
量， A 都把它变成 i ?" 中的向姐阵乘法规则告诉我们 A («+ 
^y) 这就是说这个变换是线性的，这是它的最重要 

的性质 . 书木附录 A 讲线性变换与矩阵之间的关系，在"存在"， 
即 r = m 时，称变換为映上的„此时， ft " 中的每一个 b 都至少是由 
i ?_ 中一个％变换而来值域（列空间）是整个在"唯 
-■* ,即 r = tt 时，变换为~对一的，每一个 b 至多由中一个 x 变换 
而来.我们举一个非线性变换的例子，变尺 1 为 Ri 的函数 3 ^=^就不 
是映上的，因为; v =~ 4 不能由任何 变來： 它也不是一对一的，因 
为数 y = 4 既可由=十 2 变来又可由 x =— 2变来。函数:^=>^就 
既是映上的又是一对一的•此情况下有着一个一一对应，即实数 3 C 与 
它的立方* 3 之间的 一一 射应，也可以说实数 y 与它的立方根 y ★之间 
的 一一 对应，这里第二个变换是第个的（双向）逆变换.可逆变 
換等价于 一一 对应.既是一对一的又是映上的 • 

—个长方阵只能具有两条性质中的一条，不能兼有另一条， 

非线性函数也是如此，习题中要求读者举一个这样的例子。但是 
方阵就不同了.如罘 msfi ， 那么 A 在并旦只在 f / 右逆矩阵的时 
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候才有左逆矩阵，此时存在就意味养唯一，唯一就意味昔存在，由 
于厶逆矩阵与左逆矩阵同时存在，则必须相等，所以此时只冇一个 
逆矩阵 _ B=C = A - 1 。 这里可逆的条件是秩为可能的最大值， r = 
换个说法 ： 下列条泮中的毎一条都是《阶矩阵非奇异的充分 
必耍彔件： 

(1)列张成尺"，从而对每一个&, 4^二&2少柯一个解， 

( 2 ) 列线性无关，从而 Ax = 0只 _ f|Ms = 0 . . 

把前面讲过的和后而要阱的都考虑在内的话，这个丧还可以加 
表中的条件是彼此等价的，都保证 A 非奇界、 

(3 ) A 的行张成 
(4 ) 行线性无关. 

( 5 ) 有行交换的消去法使得主元不为零，郎 /M = LDU , 

0 I t … t u 

(6) 存在矩阵 A -' mn - AA-^A x A = r 

( 7 ) A 的行列式非零。 

Cs ) 零不是 A 的特征值„ 

(9) AU 是正定的. 

( lO ' JAA 1 ■是正定的。 

这里是一种典型的应用， •考 虑所冇 n — 1阶多项式 p ( f ) 4 在》个给 
定的点 fG 处为零】阶多项式必为 P ( t )=0 ,别的 FJ — 
1阶多项式不能冇《个根，这唯一性（它意味着存在性）可陈述为： 
任给…， ft , 都存在一个 《— :阶插值多项式，使 P ( ti )= i = 

1 , 事实上，如果 PCO =〜+〜{+•，•十； (，广 1 ,则方程组 

pa ) 写成钥阵形式为 



tj t\ - 

• tr 1 n 

「 x i - 

pi- 

1 

t, tl ■- 

■ tr 1 


j ft ： 

. 1 


■■ c J 

f : 

. r - 

! ■■ 

-h. 


这就是说，可逆远 i 釘异的 H 义语。这扔个词都只叩于方阵 0 





嚴效矩阵是 u XU 的，称它为范得鼗矩阵，我 iN 知道，由 AX=0 只 
冇#解X二 L)( 换句话说， P(t.)=0 只在 Ps 0时才有可能）得 A 非 
常奇异，则 Ax = MJI 冇解，也即多项式在点^处取值匕。后面我们将 
览出灭的行列式，它不为零。 

科一点是，由 A 非:奇异，知 A 3 ■非奇异，它们的秩相同.因此， 
我们不仅可以对任意解 /U = b , 何且可以对 c 解 A 5= c , 后一 
方程组来自完全不同的应用„假定我们寻求状如 

#⑹ 

的近似数值积分公式，即用/在《个点 f ; 处的值 f 来近似/的积分。 

仅仅根据 a 个点处的值来选择系数 y ,, 这样得到的数值公武不可餌 
对所有的函数都适用，但可以对所打的 n — 1阶多项式 / = P 都适用. 
写出卜1 , t = t . /^广 1 的近似公式，我们有 

I "。1 (^= 3 ^ + … + 

山 + … + y s f. 


用矩阵写出来为 c = B 证明了它 W 解，因而可以求得系数 

从另一个角度看，我们说因为1阶多项式只有《— 1个根，所以 
近似积分公式存在 

练习 2.4. 10构造一个非线性函数 yO ), 是一对一的，但不是 
映 上的； 再构造一个非线性函数，是映上的，但不避一对一的。 

练习 2.4. 11当且仅当对 At 唯一性成立时，对 A 存在性才成 
立, 反之亦然》试解释 f 这是为 什么？ 

练习 2.4. 12 A=il 1 0 J , 试构造 A 和 A 『的所 有可能的左逆 
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或右逆矩阵 s 


§2.5 正交向量和正交子空间 


本节第一步先水向盤的长。在二维情况下，的长II x ||等于 
-- 个 it 角三角形的斜边长（图2 .40) „直角三角形斜边长的 ii ■算公式 
为II x I! S = X? + >：L 是很久以前 Pythagoras (毕达哥拉斯)给出的 •• 



( Q . O . x ^ 



在三维情况下，向量是一个长方体的对角 
线 （ FB 2.4 b ) D 长方体对角线的长可以通过两次应用 Pythagoras 公 
式求 HL 先求出底面对角线04=(%,心，0 ) 的长，得 
幻 +W, 0A 与竖棱 （0. 0, x s )构成直角3角形（在 CU, AB 所决 
定的平面内 ）OAB, 它的斜边 OB 就是向置\再用一次 Pythagoras 
公式，得 

(I ?c || ! = OA i 4-AB*=x;+Xa+a:|. 

推广到 n 维向量 >：=( 〜，…，\ )，得 

|| ?( || * = ¥+ … + 4 . ( 12 ) 

即 f 中向量； (的 长丨 i | 等于其分景平方和的平方根，取正号.几何 
上这相当于应用了1次 Pythagoras 公式，每次维数增1。在一 
维情况下，《== 1 ,向量长等于分踅 A 的绝对值， 

给了我们两个向量X和 y (图 2.5), 怎样判断它们垂直与否呢？ 

• 也可能是埃及人缉出的，后丰 Pnha E oras 给出了 ff 明， 
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a i . s 以欠、 y 和 x - y 为边的平面兰角形 

也就是说，正交性的判别准则是什 么呢？ 在二维平而内我们可以用 
三角来回答这一问题。对 R* 中情形，我们也可以从X, 3>所张成的平 
面入手进行讨论。在这一平面内，如果 x 垂直于 y, \ y 就构成一个 
直角三角形， Pythagoras 公式 

；!^11 2 + It^ll II I! 1 (13) 

就应该 成立。 利用公式 （12), 得到 （13) 成为 

(x;+ … + W) 屮 + — y i) : + …+ Ok —yJS 

其右端为 

(^H - F^J>~2(a: 1 y 1 H - hAy.) + (yf + … +y:). 

这样，向量 y 正交，则 （13) 成立，则必 

x 1 y 1 + — +ji ll y,= 0 (14) 

(U) 可以写成一个 t XM 矩阵（行向置 M) 与一个》X 1矩陴 
(列向量V)的乘积 

^ f y=C«iryr=^ 1 ^i + -" + ?c.y,. 

- ： 05) 

.JV 

利用和号 Z 又可将 （14) 写成凡对《维空间进行几何讨论时， 
都要用到这一表 达式。 有时称它为两个向量的纯量积或点积，话为 
o, y) 或 H 我们称它为内积，并使用记号 Vy. 
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2 R 巾两个(列 ） 向暈糾作的内积。讀 ㈤ 丄 L 仅当其 

内积为岑时才交, _ -n _ 

~ 我们指出向坻的长与内积的戋系为太，4 ■… +/„= flx 
II \ 采向 a 是唯一 k 度为零的阳量，零向 a 是唯一与自己正交的 

向贷、枣向0与尺’屮的每一个向 g ： y 都正交。 

~ 臺习 2.5.1 求 ^=(1, 4, 0. 2 ) r f y =(2, -2, 1, 3)， 
长度和内积。 

我们已经 E 明了 X 和 y 在而且只在其内积为零时才正交 D 下一章 
将更详细地 V 、 t 论内积 ' 下一章耍做的事 还有： 对非 iE 交向量进行 
讨论，用內积给出内积空间中余弦的定文，用内积确芭两个向贾之 
间的夹角等 • 本节所讲的虽然也还是四个子空间，伉要探讨的性质 
是正交性， 

首先，无关与正交之间有若一种简单的关系，非零向 ，…. 
如果彼此正交 （ 其中任何一个都与其余的每一个正交），则必 
线性无关. 

证明假定 … G ,求诙式两端与4的内枳，得到 

… +e t t)tXo = 3 (16 ) 

由于 u lt ■■、〜正交， （16) 式成为 u / c . y ^ O , 题设所给向量都 
非零，故0 ,从而 Cl = 0换心为任何一个我们都得到 
A 为零。 这就是说 ^ 以， …， h 的组合只在系数 t 负零时才为零， 
这就葩得了它们是线性无关的 . 

尺_中坐标向 ，…， e , 菇一组最取5?的彼此正交的向置，它 
们是单位矩阵的列，它们构成 V 的敁简单的基戒，它们又都是单 
位向量 （ 长度都为1 , II e < II = 1 ) .几何上它们是坐标轴上 的点， 
将孩向量组旋转就得到一个新的正交纽 ， 新的一 组彼此正交的单位 
向 fl 。 在平而上， 即 二维情况下，这一旋转产生的两个正交向量为 
0 1 — (ca^, sint 1 ) , ^si = ( —sin^ f cus5) 

练习 2.5.2 试在 K 2 屮先举出一 HI 线性无关但抜此不正交的 

• '-£ i - m , 将从个角度对它进技 讨®, 
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向量，从而就证明了 t 述定理的逆定理不成立。再举出一组彼此正 
交但不是线性无关的向贷，从而说明定理中非零这一条不可占， 
练习 2.5. 3 解析儿何告诉我们，平面上两条 I 1 [线，如果互相 
垂直，则斜率的积为 一 1 a 试将这一点应用于叼 m ( X L . x z ) 

^ Jy =( yi , yi ), 它们的斜率为 i /\和 >^ /h , 从而再一次导出 
正交的条件， 

练习 2.5. 4 试证，时 B 的第 i 行正交于 B-t 的第/ 列。 

练习 2.5. 5 指出下列向量中正交的对 



练习 2.5. 6试求出 K s 中与 （1, 1, 1) 和 （1, -] , 0) 都正交 
的所冇 向量=并用已知的两个向 M 与求得的一个向量构成 R * 的一个 
彼此 1 H 交的单位向量组 5 


正交子空间 


下面我们来讲子空间的正交性。在一般的三维空間内，可以用 
过原点的直线或平面表汞子空间„ 极端情况的两个子空间是单个的 
原点和整个的空间. 子空间彳 0} 与一 M 子空间都正交。一条直线与 
另一条直线或与一张平面都可以正交，但平面与平面不能正交 •. 
全空间只 3 只与正交。在 ft 维空间中基本定义是 ^ 

~ 2 S 7和 识是同 一空间的两个子空间.如果7的任个向 
: fiu 与 VK 的任何一个向觉 w 都正交，也即 Wv = 0对所有的 u 和 W 都 

成立，则称 V 和 W 是正交的, _ 

例 设 V 是由 ypCl , 0. 0 ) 和 y 2 =( 1 , 1, 0, 0) 生成的平 
面， W 是由 ^^=(0, 0, 4, 5) 生成的直线„由于 w : 与 y lf w s 都正 

‘房间 JR 的*墙与东埔看上去该是相 垂直的 乎谢，但按 S 我 ffJ 的定义它们不逛！有 
分 B 这 M 面垴但交角不为直角的直议1*与》„ 
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交，所以直线 W 与整个乎而交。 

练习 2 . 5 . 7 对刚举的例子，试求出一个 w 2 , 使得由〜和你， 
所生成的平面也与 V 正交。洱求一个^使得由 yi ，心， y 3 生成的 
三维了"々间与例中质来的直线 W 正交。 

练习 2. 5 . 8试证， 如果 子空间 V , VK 正交，则它们共同的唯 
一 1: JMS 芩向 M , 即 7 门州={ 0 }, 

观在我们来解释为什么 5 ?引进正交性.我们知道，从矩阵产生 
的四个铀丰子空间中，两个（化零子空间■水 '( 4 ) 和行空间嫌 ( A r )) 是 
的子空问，另外两个在中。关于这四个空间，除维数外 .S 
m 要的事实是他们正交。 

2 T 对任何 mxu 矩阵 A , 中化零空间 ^*( A ) 与行空间深 

U r ) 正交；中左化零空间 f ( A T ) 与列空间观 ( A ) 正交。 

证明 I 设 w 是化零空间 1( ⑷中任何一个向堡，则 = 
该方程组可展开成 



第一个方程衷示的是，一个内积为零，即向 kw 正交于 A 的第一行， 
或者说正交于的笫一列 5 第二个方程表明 wTE 交十 A 1 ■的第二列， 
类推下去，得 w 正交于 A 3 •的每一列，从而 w 正交于由这些列所生成 
的整个空间，也即正交 T ^^的列空间的每一个向量 y 。 这对化零空 
间的每一个 w 都成立。这样，我们就证明了 /( A ) 丄涿 （ A r ) a 

定理的第二部分是 . yT ( A r ) 丄深 （ A ), 这不过是把第一部分用 
- TA 1 "( 前面证明了第一部分对任何矩阵都成立，当然对 A 的转置矩 
阵也成立）。我们换一个方式，考虑左化零空间中的; V ,那么，从 
y !， A = Cy 1 — y .)!?*!] 列 j = CO …。〕 

我们得到 y 正交亍 A 的毎一列，从而它也就正交于这些列的每一个组 
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合，也即^ X ) 中的每一个 y 与淡(⑴中的每一个 W 都正交。 

证明 B 我们不从向 M 考虑，而楚整体地进行证明》作为"抽 
象"与 -JliV 描方法相对照的特例，从比较中读者会获得益 
处=希望也相信读者会理 旃得更 淸楚，掌握得更牢固。 

假定 w 嵐于^ XA ), 深 un , 那么 AW =0, 可以对某个 

x 把 o 写成 = (在具体记法中. u 楚的列的组合，…， 
心是组合的权），从而 

w T v — w T (A T x) — (\v r A T )x=(Aw) T x= 0 r x= [). 

( 18 ) 

例 设 A 是练习 2.4. 2中的矩阵 



第二列蹙基本列，其余三个变量是自由的，从而依次置自由变量为 
1解0 , 我们得到三个向鐘，它们构成焱的化零空间的基底 

r 1 1厂 0 - 1 ■ 0 1 

0 | ~ 4 I 0 

0 ' I 1 1 j 0 
. 0 J L 0 J L I J. 

由 2T 知这三个向量正交于 A 的行. 

A 的列空间是一维的（行的秩=列的秩），由基本列 ] 张成。 
另一方面， A 的行的组合产生 U 的零行，组含的系数构成化零空间 
的向量，由 <-2)( 行 1) + ( 丨）（行 2)=0 知，=( 一 2, 1 ) 属于 
左化零空间.定理断言它正交于列空间 

〔― 2 n [ ； r°* 

现在我们要求读者再多一点耐心.化零空间正交于行空间，这 
是当然的.但这话不完全.除 K4) 的向量正交于行空间之外，还 
应加上一句正交于行空间的向童全在- ^(4) 中=化零空间由0 
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的所有解构成， 

2 U 定义给定 K 是 f 的子空间，则由正交于 V 的全体向量所 
构成的空间称为 V 的正交补. ® 为 V '., 

根据这一定义，化零空间 i*U) 是货 （A r ) 的正交补， ./T(A) = 
同时，反向关系也成立，行空间遝(乂『）包含正交于化零 
空间的全体向量。这不是根明显的，因为在解时，我们考 
虑的是行空间，求的是正交于行空间的向的全体.现在要反过 
來，假定尺_中某向量的 z 正交于化零空间但不属于行存间，那么把 ir 
作为4的额外行加上去，这使行空间扩大但不改变化零空间，可是 
我们知道有固定的公式 r+U_r) = w, 或荇 
行空间的维数+化寧空间的维数=列数， 

因为加上新行不改变等式中后两个数，从而第一个数也就不可 
能改变 g 结论是正交于化零空间的向量全都在行空间中， ^{ A T ) 
= C^(A))\ 

同样的推理方法用于 A ' 我们得到对偶结果 f ft ” 的左化零空间 
与列空间涿 ( A ) 互为正交补.这就完成了线性代数基本定理的后半 
部分，前半部分给出了四个基本子空间的维数，包括行空间的维数 
与列空间的维数相等，现在我们知道，它们不仅垂育，并互为正交补。 

2 V 线性代数基本定理 （ ~ ) 

=( 鐵 a ) v . 淡 ( A ) = or ( AM )、 
a 后一个等式表明, ax 二且仅当 b 正交子时才有解；当 
且仅当&正交于转置齐次方程组0的每一个解 y 时， b 才在列 

空间中《 _ 

我们强调指出，两个子空间 V 和识坷以彼此正交，而不互为正 
交补.在三维空间中， （1,0,0) 生成的 S 线 V 正交于 （0 , 0,1) 
生成的直线 W , 但 V 不等于阶的正交补是一个二维子空间， 
含有全体状如(心， I , 0>的向量。直线 V 只是的一部分，它的 
维数不够大。如果维数够大，则两个正交子空间必定互为正交补^行 
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电间和化零空间就是维數眵大的。进一步，如果那就葆 
证了维数合乎要求，也就有如图 2. 6所承，空间被分成了 
垂直的两部分 V 和 



ffl 2.6 空间 的正 交分* 

图 2. 6所表明的定理为 

如果V和 VK 是 Y 的子空间，那么下面的每一个条件都保证它们 
互为正交补： 

(1 ) W = V ^ ( 汉由 正交于 V 的全体向量组成） c 
(2 )V = W -{ V由正交于价的全体向量组成 ）• 

( 3 )v 和盱互相正交，且 V 的维数加上 W 的维数等于〜 

这三个等价条件中只要有一个满足，每一个向量 x 就都可以唯 
—地分解为 A：=y+w, V和 W 分属于 v 和 vv。 分解成的两部分，也即 
；«到7 和貺的 投影必正交， ^w= 0 0 

我们将前节和本节一起作一 小结， 这两节完整地插述了矩阵的 
作用。 前一节得到了四个基本子空间的维数，特别，行空间浼 ( A r ) 
和列空间涿 ( A ) 的雄数都是〜本节完成了给这四个子空间定向. 
R - 中的两个互为正交补， K " 中的两个也互为正交补 # 图 2. 7是对矩 
阵 A 的作用的一种 表示. 任何一个向量 x 都可被分解成 >!, + ；(,, 并 A 变 
行空间向量\为列空间中向量八^ =八?(,变化零空间分量;为零 
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图 2. T 矩阵 A 的作用" 

2W 从行空间到列空间的映 tj ■是非奇异的.或者说，是可逆的. 
列空间中的每一个向量 b 都来自行空间，并且只来內行空间一个向 
量， 

证明如果6属于列空间，它是列的某 一 m 合分解^为1 + 
X ., ；«,和 x , 分别属行空间和化零空间 

从而得到&来自行空间的如果冇另外一个向也属于行空 
间，也满足 >UV=fc, 那么 AO,—〆 r ) =b—b= 0 • 这是说， 
既厲于化零空间又属于行空间，这使得它正交于& a. 因 
此它庳零，也即 

矩阵当它可以被 理解为从某个 r 维子空间深0^)到另一个 r 
维空间深 (4) 的变換的时，它是可逆的。作用于正交补/ (A), 4 
朵零矩阵。同样的，是反方向的，从淡 U) 到淡 (4^ 的可逆变 
换。这不意昧蒋^是 A 的逆矩阵；变 Ax 为 AUa 而 A 的逆矩阵 
( 或者在§ 3. 4 所讨论的奇异情况下，是 A 的伪逆矩阵）变 Av 为《。 


* 我们 井不实陪边知 a 怎样画 和 n- •■维 的这两个疋 交予空间。 如弟 你巳烃 
理 *f 这维数和正交性， 那就不要茳图 2*7, 以 免引起 Mff„ 

!_:2. 7 中的琴空风应为化零空问，符哿 h 为 d'cd ：), 空 m 应为左化枣空同， 符分 

应为 
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练习 2.5.3 求 A 向量 （1, 】，2)和（1,2, 3 ) 所张成 
的平面的正交补，求法是用这两个向景作 A 的列，解 A,v =0, 我 
们记得所求正交补足一条直线 . 

练习 2.5. 10构造一个齐次方程，未知数的个数为3 ,解为向量 
(1,1, 2)和（〗 . 2 , 3) 的线性组合 a 这是上一题的反问题， 
但这两个题目实问上是一样的。 

练习 2.5. 11线性代数的基本定理，常常按 Fredholm 方式陈 
述为：对任何的 A 和 b , 方程组 

(J )>ix = bftC 2 )A r y= 0 , y 7 br-^ 0 
中必定訂一个，并且只有一个有解.换句话说，或者6属于列空间 
.货 ( A ), 或者 .，( A ) 中有使得，将&分为列空間分量和左 
化零空间分量，就得到一个所要的 y . 

练习 2.5. 12求 



的化零空间的基底，并验证它正交于行空间 4 给定； C=(3 , 3,3), 
试将它分解为行空间分量;^和零空间分置 

练习 2.5. 13 Uiit:V + W 的正交补是V的正交补的 W 的芷交补 
的交，即 （V + H0i = V^niV、 （两个子空间的和的定义见 2Y) 

练习 2.5. 14 变淡 (A) 为行空间，变左化零空间为零，试用 

圈 2 .7# J ^的这种作用进行解释。 

关联矩砗与基尔霉夫定律 

图 2 , 8 所承网络中的稳态直流电流服从 Kirchhoff (基尔霍夫） 
定律： 

(1) 任一节点处流入和流出的电流强度的总和都相等 a 如在节 
点 1 处/ 3 = 1+/*. 

(2 ) 每一闭合回路中压降的和都为零。 KG 沿箭9方向的压降 
为仏 f 则在以节点1 , 4 , 3 为顼点的三角形网络中，依定律必 





田四节点支 路网络 


我们用矩阵代数来表示这两条定律。所得表达式可以因网络的 
画法 （ 节点的连接方法和箭号的方向）不同而不同.怛不因电阻 
<或电池）的大小而改变节点之间的连接可由网络的关联矩阵 
完全表达出来.关联矩阵每行对应于一个节点，每列对应于一条支 
路，每一列中+ 1 和一 1分别表示节点为支路的起点和终点.图 
2. 8所示 M 络的关联矩阵为 

1 0-1 1 0 0，节点 1 

-110010 节点2 
0-1 1 0 0—1 节点3 

0 0 0 - 1 - 1 1」节点4 

我们看 M 中对应于节点1的第一行 □ ~ I 表示节点1是支路3的终 
点，两个+ 1表示节点1为支路1和4的起点，由 Kirchhoff 第 
一定律知 ffl 矩阵把这一点表示出来就是：记6个电流 
所构成的列向量为 J , 则 MJ =(^ 这是一个含6个未知数四个方裎 
的方程组。 

• 换句话说， KiicIihoW 定律走 “ T 衡彔件 w t »要以欧姆定律£ = I R 作为它 



为用矩阵表示出基尔霍夫第二定律，我们规定节点1的4位 
= 0 ,并定义点;到点/ ( 如果；，之间有支路相通）的压降为电 
位差 E=PrPp 第二定律指出，沿间路的总压降为零 • 它的矩阵 
农示为：任何一条支路上的压降 A _ P , 都等于该支路所对应的列乘 
上电位向量由列的构造我们知道该支路所对应的列上，节点 i 处 
为+ 1，节点/处为一 1。换句 ft 说压降 E 是的分量。 

这样， Kirchhoff 定律就可以简单地陈述为,/在 M 的化零空间 
中， S 在 M 的行空间中。由于茌何 M 的这两个空间都正交，从而我 
们就证明了电路理论中的 Tellagen 定理： E T J= 0 。 

例假定我们把一个20伏特的电池接进第一支路，产生电流 J , „ 
由对称性知， I 的一半通过节点3流回，一半通过节点4流回，不 
影响支路6, / fl = 0 t 如果电阻的总值& f 我们可以验证1 = 
2 , j 1=is = — j 4 = is= | , (注 意，箭号指向_意，它只是给电 
路标定一个方向， J ,= - 1表示 h 的流向与箭号相反）电流通过底 
部电阻所产生的压降为^=川=10(伏特） f 通过电阻2, 3, 4. 
5所产生的压降都是5伏特。总压降等于电池的电压20伏特，可见 
基尔霍 夫定 律是满足的，电流數值是对的。 

练习 2.5. 15求出各支路上的压降，给定1=0,求电位 
P a , ^ 2 , P ,. 验证/ = 0 „ 

练习 2.5.1S 试画出哭联矩阵 

f 1 0 0 - 1 1 0 - 

- 3 0 0 0 0 1 

\4 ^ 

0-1 I 0-1 0 

. 0 0-1 1 0 - 1 . 

所表示的 网络。 设在支路 1_ 3 中接入一个 6 伏特的电池，又设备支 
路的电阻都为〗，艰各支路上的电流/和压降 
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§2.6 子空间对与矩阵的乘积 


本章的目的是讨论线性方裎 = 前面毎一个新的概念和 
定义（包括向空阏和线性无关，基底和维数，秩和零度，内积和 
正交）都届为着这一讨论而引入的 t 下面我们回过头去看一下这些 
概念之间的另外几种哭系' 

我 fn 要看的不足单个子空间或单个矩阵的内部关系，而是两个 
子空问或两个矩阵之间的关系。这些关系大多都很简单。我们要看 
的 第一种 关系姑 

2 X 如杲 V 和 VV 足架个向量空间的子空间，那么它们的交就 
也是该空间的子空间. 

证明是简单的.设 x 和〆属于 FflW, 也即它们既属于V又属于 

那么由 V 和 W 本身都是向量空间，我们得知 x + V 和^也都既 
属于 V 也属于从而也就属于 V 和 W 的交，几何上通过原点的两 
个平面 （ 或中两个超平面）的交是子空间。多个甚至无穷多个子 
空间的交也是子空间. 

例 1 两个正交子空间 V 和 VV 的交是子空间 { 0 } „ 

例2 矩阵的全体*—个向量空间，视上三角矩阵全体和 

下三角矩阵全体为它的子空间 V 和呀， 则 V 和 W 的交为 《 x « 对角矩 
阵全体 。II X « 对角矩阵的全体当然构成子空间。对角矩阵相加或 
乘上一个数得到的仍然是对角矩阵. 

例3设 V 是 fcxn 矩阵 A 的化零空间， W 趙 ixn 矩阵 B 的化零空 
间，则 VflW 是由 A 的 fc 行和 B 的 I 行所成的矩阵 



的化零空间 • 证：设 x 属于 C 的化零空间，则当且仅汽0且 

* 和 2YM 两个最重贽的关系。本节讲的另外几点更0地是为宥理论上的帘 


时才有 C ; v =0„ 

例4 设 Vl , …，屮的一个向蜇® ct 。 考虑含冇这一集合 
的所 n 子空间； 是这种子空间中的一个 （ 每一个向空间都是它 
自己的子空间），还可以 " m 外的这样的子空 n a 所有这些子空间 
的全体的交是含存所给向觉的最小子空间，这最小子空间是由 v ,, 
_■‘， V * 生成的子空问 D 

通常讨论了两个集合的交之后，接下去自然地是对它们的并进 
行同样的讨沦，对向 m 空间则不然，两个子空间的并 kuw — 般不 
是一个子空间，我们考虑 f 面上 iVj x 轴和 y 轴，它们各自都是一个 
子空间^但是它们的 并： f : 是子空 m 。c i ，0 ) 与 （ 0, i ) 的和 
既不在^轴上也 f 在 y 轴上。不难哲出，除非一个子空间含于另一 
个之中，否则 两个+ 空间的并恨不为子空间。一个含另一个之中 
时，它们的并 （ 与大的 一个鬼 合）也足一个子空间。 

这里我们也还是要把两个子空间合在一起，但考虑的不是它们 
的并，而是它们的和. 

2 Y 如采 V 和 w 是某空间的两个子空间，则它们的和也是该 
空间的子空 N ,和 v 十作由所有可能的;^ D + OV 构成， u 和 W 分别 
赴 V 和 w 中的任何向 H 

V + W 不过是由 K u W 张成的一个空间。它是同时包含 V 和汉 
的最小空间。 x 轴和 y 轴的和是整个 x - y 平面，一个二维平面和 
—条不在该平 w 上的痍线的和是一个三维空间„ 

例5 设尺 4 中的 v 和祝互为正交补，则它们的和7+界=及' 
每一个 X 都是它在 V 中的射影 U 和它在 W 中的射影 W 的和， 

例6 设 v , w 分别是上、下三角矩阵所成空间，则 V +祝 是 
全体矩阵所成空间 a 每一个矩阵都可以写成上、下两个三角矩阵的 
和„写法有多种，因为对角线的取法不唯一^ 

例7 设 v 是矩阵 A 的列空间， W 是矩阵 S 的列空间，则 V + 
砑是组合矩阵 Q B 〕 的列空间„ V + 卟的维数可以低于 V 的维 

数与识的维数的和，因为 V 与识 可以 重卺， 但易于求得 
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(^+灰)的维数=0的秩 (19) 

预想不到的攰， vriw 的维数的计兑耍巧妙得多。假定给了基 
底 〜，…， …和… ，…， u* f , 要求出这两个子空间的变的基瓶， 
当然只知逍〃1, +•*, 内屮; Gr 否打 哪一个与抓！，…， Wi 中的某一个 
相 等茈不 够的：甚至这两个空间相冋， V=TV, 它们的基底也可以 
完全不 

最有效的方法是构成以〜， +••, ，…， w, 为列的矩阵 

Q ， 求出0的化零空间 f(Q)„ 我们将证明，由这一化零空间的 
基底可以导出 v n 贶的基底，结果是这两个空间的维数相 h 

(VflW) 的维数 =.，（Q) 的维数. (20) 

将 （ 19) 与 Go) 两式相 jjin 行- 

( v + w ) 的维数 + (v n ho 的维数= 0 的秩+ Q 的零度 . 

这是一个重要的公式。从对四个基本子空间进行的计箅，我们知 
道秩加上零度等于列数。具体到这里，0的列数为 ft +!,而 fc 等 
于 v 的维数，I等于识的维数„从而我们得到 
(v 十 w) 的维数十 （v nw) 的维数 

=V 的维数 + W 的维数 (21) 

这也是一个有用的公式„ 

例8 上下三角矩阵空间V和 TV 的维数都是^(»+1)/2,全体 

nxn 矩阵所成空间V +灰的维数为浐，对角矩阵所成交间V n W 
的维数 为?1 . 作为 （21) 的一个例子我们有 fJ z +« = n(«+l)/2 + 
n ( n + l )/2 v 

现在我们对 (20) 进行证明，此处更注重的是证明技巧，而不是 
实际计算 = 这是本书中仅有的一次，将一个空间与労一个相比较， 
从而引出该空间的性质，在这 1 导出冇用的公式 (21), 这秤比较 
法本书中也只用了这么一次。首先注意0的化零空间是 R l+l 的子空 
间，而V n vv 是 ii- 的子空间。我们要证明的是这两个空间的维数 
相 R ,方法是依下面的对应关系将两个空问进行比较： 

对0的化零空间中的任一向馇^：按列写出方程0 ,即 
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或 


x J EJ J + --*+x l! y i +A ； t 4iW i +---x i+; Wj= 0 


H H - = —A ： t +! Wi - ^ttiW i8 

左端为 h 的组合， M 然在 V 中，右端在妒中。从而它们所代表的向 
量 y 在 vn 汗中。这就提供了^ ( q ) 中的; c 与 vn 识中的 y 之间的 
一种对应。易知，这种对应关系经过加法和数乘保持不变：也即如 
果 x 对应于 y , 〆 对应于;/,则 x 十 y 对应于 v 十 y , m 对应于 
cx \ 进一步我们知道 V nw 中的每一个 y 都来自 ，( q ) 中的一个 
而旦是唯一的一个 X ,(习题 2. S .5)。 

这是两个向量空间同构的一个极好的例子.这是不相同的两个 
空间，但对各种代数关系采说，他们是完全一样的。可以完全对应 
起来： 线性无关组对应于线性无关组；一个中的基底对应于另一个 
中的基底 5 由此知他们的维数相等„ (20) 和 (2!) 的证明也就完成 
了.这是代数中常用的方法，把具有某些相同点的两个不同財象看 
做足一样的，数域和 （ 有限）维数都相同的任何两个空间都恒同 
象^ ( Q ) 和 vn 汗表面上差别这么大的两个空间，可以被看成 
是相 同的， 这是很冇意思的。 

例 3 设 7 和灰分别是由 



■ 4 2 0 0 ' 

0 = 

0 3—6 0 


^0 0 0 1 . 


的前两列和后两列张成的.矩阵 (？ 已经是阶梯阵 Q = C 7, 自由变量 
(没有主元的列）是第三个，因而笫一 、二 t 四列张成 V + 识，它 
的维数为3,它就应该是 il 3 „ 力得到 FP 1 W , 我们先算出 Q 的化零 
空间，令自由 变量心 = i ,用反向代入法求得基本变量为; c 4 =0 , 
心= 2 , i „ Q t = 0的这一个解为 x=( - I r 2 , 1 r Q) T . 

此时 f (<?) 与 v n w 之间的对应向量为 

i )( 第一列）+(2)(第二列） 
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(H 

0 

+ C2) 3 

4：1 


. 0 . 

1 0 _ 

U J 


这是交 v nw 的一个基底。 

练习2 . S . 了在全体 4 X 4 矩阵所成空 fu] 中，取三对角矩阵子空 
M 为 v ,取上三角矩阵子空间为试描述子空间 v + w 和 v n 
W. v + w 的成员是上 H eSSC nb er g 矩阵，请验证公式 （ 2 I) a 

练习 2 . S.2 假定 vmv ={ o }. 则由 （ 21 ) 得知 （ v + w ) 的维 
数等于 V 的维数加上 W 的维数，试证 V +呢中的毎一个 X 都可以唯 
—地丧示成 x=y + w , 其中 y 在 V 中， W 在 W 中。换句话说，如果 
x = 〆 +〜 〆 ，则应证明在这种情况下，由于 vn 
w ={ 0 }, 称 v + v / 为 v 和 w 的直和，冇时记克和力正交 
子空间的和恒为直和，任何两个子空间，如果零向量是它们唯一的 
共有向量，则这两个子:个:间的和为其和。 

练习 2.6.3 假定 VJ ?」 由分量为 （1 , 1 , 0 , 1) 和 （1 ,2 , 0 , 
0) 的列 i ;0 M 张成的。试求子空间使 v ® w = R 4 , 记号的意义 
见练习 2. G . 2。 

练习 2.6. 4 V 由 〜--=( 1 f 1，0 , 0 )，〜=(1 ,0 , 1 ,0) 张 
成，识山％ = (0 , 1 , 0 . 1 ), w s =(0 , 0 , 1,1 ) 张成，试隶和 
v +柯的雄賅，并求出 v n W 的维数和基底。 

练习 2. S .5 验证 " vnw 中的每一个 y 都来自 ^(2) 中唯一 
的一个 X ”。试对给定的 y 给出求唯一可能的 X 的方法， 

积 AB 的基本空间 

前面我_们讨论的足成对的子空间，现在我们转向讨论矩阵的乘 
积。对矩阵乘积进行讨论时.我们把蔚眼点提商了一层。提高到了 
行向量或列向贵，而不是翁眼于单个元素。乘积 AS 具有 A , B 所 
上 Ur 的一些性质。符时我们不考虑可以张成能反映整个短降性质的 
子空间那么多行或列. 
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A , B^UAB, 它们各白都有四个基本子空间 i 我们要讨论的 
主要问题是，这些基本子空间之间存着怎样的关系.这些关系中要 
紧的冇四个。揺一句 ， A , B 和都可以是矩形的， 

( i ) AB 的化零空间包含 B 的化零空间， 

r ，( AB )2 .，⑻ . 

0 i ) AB 的列空间含于 A 的列空间， 

^Cab)c.^U). 

( iii ) AB 的左化零空间包含 A 的左化岑空间， 

( iv ) 的行益间含丁 ' B 的行空间， 

^((ABV)^3g(B T ) t 

证明是很简单的 

( i ) 若 Ji ! UB «= 0 ,因而 - Y ( B ) 的每一个元素都在 
中，也即 

GO 设&在的列空间中 r 也即设对某个；《：有 AB ; v =6, 那么 
取 y = 则 Ay = b ，也即 b 在 A 的列空间中，这就证明了 

另一证明方法直接来自矩阵乘法， AB 的每一列都苋 A 的列的 
线性组合《 

( iii ) 由于 ( AB ) r = B r A T , 视 S % A r 为 （0 中的 A , 这第 

三条就成了第一条。 ' 

( W ) 类似地，第四条就成了第二条，也可以由矩阵乘法直接导， 
出。 AB 的第 i 行是 B 的第 i 行的组合，组合的权是 A 的第 i 行的 
元尜。因而的行空间含于 B 的行 空间， 

练习 2.6. S 试举例 证明： （ i ) AS 的化零空间不一定包含 A 的 
化零空间，的列空间不一定合于 B 的列空间. 

推论秩 r 和零度 f 满足关系 

KAB )< r ( A ), r(AB)<r(Ft) (22) 

v(AB)^v(b) ( 23 ) 
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的列空间含于 A 的列空间，而秩等于列空间的维数，由此 
我们紅接得到 r(AB)<KA)。 类似地，由 （iv) 我 们得到 KAB)< 
KB), 山 （i) 我们得到关于寧度的不等式( 2 ”。注意，我们没有试 
图 ii£Wv(AS)>vU) ,该不等式对非方阵不一定成立。 

练习 2.6. 7试证 对于乜 很多元素为零的矩阵， v(AB> 可以 
小 7M/1)， 

上述关系有一种特姝的应用。设 A 为一个矩阵，其分解 
式为 PA = U 7( 或我们知道 C7 的最后 m- r ^全为 
零，把这全为零的行去掉，余下部分为矩阵。记它为石（当 
秩* ■等于仿时，就不存在为零的行，此时 U = 现在我们来看 

—下矩阵乘法 

A=(p- 1 L)l/=Cp- 1 L)|^ t； j. (24) 

P_ 4的最后 m- r 列是与 U 的最后的全为^的行相乘，因而我们 
$以把这 m- r 列也去掉。记剩下部分为： T (实际上应为 P— 

Z 是 P<L 的前 这样去掉 (24) 中为零的部分我们得到一个新 
的分解式又=互玎。 

由关系 （ii) 知 a = rg 的列空间包含 r 的列空间。我们又知道 
A 的列空间的维数为 r 只冇 r 列，它的列空间不可能更大.从 
而得知这两个列空间是相同的. T 的列空间与 A 的相同， U 的行空 
间与 A 的相同 a 

练习 2 . 6 . 8试将矩阵 

. 4 014 °1 

U 0 2 8 0 J 

分解为 a = Tu , 并验证 T 的列显 A 的列空间的基底， 

练习 2.6. 9将矩阵换成 

r 0 0 1 
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再做上一题，这里5到置换矩阵 

练习 2.6. 10 了的每一列乘以 y 的对应的行，这样即可将 A = 
歹 F 化为秩为1的 r 个矩阵的和。矩阵 

" 1 332 " 

A = 2 6 9 5 

^-1-3 i 0 

的秩为2,试构造出它的1和17,将它分解为 r 个秩为1的矩阵的 
和， 

最后我们考虑去掉某几行 （ 也可以保留原有的行）和某几列 
( 也可以保留原苻的列）所得到的子阵 C ,关于 C 的秩我们有 
2 Z 设 《 X ft 矩阵 A 的秩为 r ,则 
G ) 每一个子阵 C 的秩都 <r . 

( ii ) 至少有一个 r X r 的子矩阵，其秩恰好为 r 。 

证明我们分两步将 A 化为 C . 第一歩保持列数不变，只从 A 
中去掉不含于 C 的行。记这个中间矩阵为则 B 的行空间显然含 
于 A 的行空间.从而 S 的秩的袂= r s 第二步从 B 中去掉不含 
于 C 的列.则 C 的列空间含于 B 的列空间，从而 C 的秩 < B 的秩< 
r . ( i ) 证完. * 

为证 ( ii ), 假定 J 5 是由 A 的 r 个无关行构成的，那么 B 的行空 
间的秩为 r , B 的列空间的秩也为 r , 再假定 C 是由 B 的 r 个无关 
列构成的，那么 C 的列空间的秩为 r 。 从而 C 的秩为 r ，（ ii ) 证 
完，也即每一个秩为 r 的矩阵都含有一个 r X r 的非奇异子矩阵. 
例10我们再一次考虑秩为 2 的 3 X 4 矩阵 
" 1 3 3 2 ^ 

A = 2 6 2 5 以及它的子矩阵1 

1 ~ 3 3 0」 I 2 9 J * 

A 的3 X 3子矩阵中只有 C 是非奇异的，其余的全是奇异的. 

该定理不值得过分 强调。 表面上看它有些象上节末尾的定理 
2砰. 2识是-•个重要的定理，那个定理说，每一个 A 都是一个从 
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它的 f ■維行空间到它的 r 维列空河的可逆变换， A 两个交间和…个 
变换就给出了 A 的全部0息，知迫变换就可以巧出整个妬阵。而本 
定理只 是一个 求可逆子矩阵 C 的叫题。求得的 C 也并无什么特别的 
地方，在具体的例子中可以 Y/ 很多个況外的 f ■阶可逆子矩阵。从本 
定瑰中我们得到的仅仅足秩的一个新的等价定义：秩足最大非奇异 
子矩阵的阶 . 


练习 2.6. 11 



大可逆子矩阵和秩 s 


下面是几个抽象性强一些的才遐，有讪丁'提高证明能力 
练习 2.6. 12设 A, B 分别为 m x n 不 ii fi x m 矩阵 ， n <m a 
试证它们的积 AS 是奇异的。 

练习2 . 6 . 】 3试证 （ A 十 B ) 的秧< A 的秩+ B 的秧 4 


练习 2.6. 14设^ *( AB )=^( S ), 又设向蜇 y 既屈丁潘 （ B ) 
又属于^ ( a) 。Uffiy = 0 . 

练习 2.6. 15设 A 为可逆方阵，试证 AB 的化零空间，行空间 
和秩都同于 提示： 对与的积应用 2 Z 中的关系 （ i )„ 

练习 2.6. IS 考虑由全体2 X 2矩阵 B 所组成的四维向量空间 
V . 设 A 是一个特殊的矩阵，按每一个2 X 2矩砗 B 都被变成 AS 
这样的方式进行变换，则 V 变成它自己„如果 A 可逆，则该变换没 
冇化萼空间，唯一被变成零的矩阵 （ A £= 0 ) 是矩阵 B = C ^ 

( i ) 设 A=.l 2 ^ j , 试求该变换的化苓空间（满足 AS =0 的 

所有的 S 所成的空间），并求出它的维数（即变换的零度，而不是 
A 的零度）。 

( H ) 求出该变换的值域（或“列空间，也即全体矩阵所成 

的空间 * 其中 A =:| ; ^ j , B 是变化的），并计算出该值域的 

维数（它是变换的秩，而不是 A 的秩），再验证秩十零度=7的维 
数„ 
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当 R 仅對 SIT ： 交 了闪 个基本了-空间中哪一个时，凌 


_程组的％有擗 

8)，（2,8, 6) 和（1,4, 8,是否构成及* 
r b 的解的个数为 


1或》，决定于 bi 
0或》,决定于& , 
t ,与 D 无关„ 

问上题中毎种悄况 F * 与 m 和 f « 苷费怎样的关 


第三章正交射影和最小二乘法 


§3.1 内积和转置 

我们已经知道两个向董 X 和 y 的内积是一个数暈 A ： 1 " . 止此， 
我们感兴趣的仅仅是此内积是否为零.换句®说，两个向量是否是 
正 交的。 现在我们将允许内积可以不为零，也就是说，夹角可以不 
是直角，井将解释内积与夹角的关系.在第一节 M , 我们将弄清楚 
内积与转置之间的联系 . 在上一章中，转置是山把矩阵如薄烤饼一 
样篇转一 下而得 到的.而这一节则必须把它解释得更严格一些. 

如杲我们也试图概述一下本章的其余部份，那么一个不可回避 
的事实 是圧交 的情形 a 最最 s 要的.假设在》维空间中给定一个点 
b , 我们希望求出它到一条给定的直线，例如：沿向量 a 的方向的 
直线的 距离。 也就是说，我们要在这条直线上找出一个点 p , 它 
距 b 最近。那么，正如众所周知，连接这样一个点 P 与 b 的直线（图 
3.1 中的虚线）一定与原来的向量0相 垂直。 这个事实使我们能找 
出最近点 P , 弁求出它到&的距离。虽然给定的向量 a 和 b 不是正 
交的，可是问题的解却自然而然地引进正交性^ 

如果我们给定的不是一条沿《方向的直线，而是一个平面 f 或 
者 更一般地给定 中 的一个任意的子空间 S , 情 形是一样的，课题 
仍 然是求子空间 S 中的一点 P, 使它距 b 点最近，面且 这个点 p 也 
仍然 ftb 在这个子空间中的 射彩.当我们由 b 点出发画一条直线与 
S 垂直时， P 点就是这条垂线与子空间的交点 n 用几何术语来说， 
选是关于点 b 与子空间 S 之间的距离这样一个很自然的问題的简单 
回答。但是这甩有儿个问题需要提出来给予 N 答； 

(1 )这个课题在实际应用中真的出现吗？ 
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(2 ) 认分价上丑，如果子空问 S 是用给定 一 flUt ( 或苦驻至* 
张成它的一个组）的方法來描述的，那么是西冇一个确定点 P 
的解析公 式？ 

( =0从计兑的角度来葑，是否*一种使用这个公式来确定 P 点 
的数值上稳定 （numerically stable ) 的计算方法呢？ 

前两个问题的回答当然是肯定的。我们的课题， M 然止此只是 
H ] 几何的术语来表述， { U 它恰恰是关于一个用最小二乘法解起定方 
程组问题。向量 b 丧示由一系列的实验和砌杏所给出的数据，由于 
这些实验或调查包含冇不少的误差，以致在给定的子 帘间中 不可能 
找到这组数据 5 换句话说，我们不能把 b 农示成子空间 S 中的一个 
am , 闶为我们所遇到的方程组是不相容的，因此是无解的。这样 
—来，品小二乘法碑选择出点 P 作力 Kffi 选择，这个 应用的 S 要性 
自然是不容置疑的' 

令第二个问題，即：寻求确定点 P 的解析公式的问题，当子空间 
足一条 n 线时足很荇易的。在这一节和下一节屮.我们将用几种不 
问的方上把一卜叫 ㉔ 投 坊到劣一个上去， _ ffi ] ‘且把这种射彫与 单先所 

* 亢錄济和统；卜中強之为 n 归分折， 
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说的内积与夹角的关系问题联系起米，所幸的是，在投影到一个高 
维子空间时，只耍这个子空间是山一组猫所给出的，关于 P 点的公 
式则仍然保持将简单的形式。这: n 然也楚 ® 重要的情它相应于 
多#效的 S 小二乘问题 a 这将在 §3. 2 中去 解决。 这样还剩下两种 
可能性要特别加以 注意： 

O ) 如果 S 是由一个张成它的向 M 组来描述，但这个向量组是 
线性相失的。这神条件的放宽导致了确定 P 点公式的先效„虽然点 
P 作为距 b 最近的点仍然愚唯一确定的，但菇，作为一组线性相关 
生成元的组合它可用不同的方式來 表示。 于菇为把它崁为一种特殊 
的组合，就要求冇一种 进一艰 的法则„而这种法则引导我们在§ 3.4 
中引出矩阵的广义逆矩阵东。 

(b )假定描述 S 的 向景组 不仅是线性无关的，而且相互正交， 
在这种非常有利的情形中，失于 P 点的公武变得恃别闶 单一 它实 
际上归为在一条直线上射影这种简单的情形，而且数值计算也同样 
变得简单了。这个事实提供丁如下的想法 ： 应该预先徙备一组基， 
使得它的元素是两两正交的„任何一组基都可转换成一组正交基， 
在§ 3 . 3 中将描述这个简单的 " Gram - Schmidt 过程”它可实现这 
个正交化 5 

剩下的只需回答第三个问题了 ，即： 最小二乘遒近菇否可以做 
到数值稳定？由于下列的理由可知，这个问題不是那么容易的：子 
空 M S 是由一组张成它的向量来刻划的，如果这些向量非常接近于 
线性相关，那么在数值上确定它们是否相关，事实上是不可能的， 
换句话说， S 的维数（无关向 S 的个数）是很不稳定的，从而使得 
广义逆矩阵和点 P 本身也是不稳定的。在少数特殊情形中， §3.2 
的"正规方程"是求 P 的®简单的方法（而 G ra m - Sclimidt 正交化 
或者§ 3 . 4 中的奇异值分解则是辰可靠的）， 


内积和 Schwarz 不等式 


现在我们再码到内积和夹角的讨论上来 s 读者将很快就会看到 
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: f 、 是夹角本身而是突角的余弦与内积更直接地联系着。因此，为了 
找出这种关系，先 M 顾一 VH 箝学，也就是二维的情形。（见图 
3.2) 设 a 是向 fta 与 x 轴的夹角，由丁- f | a || 是向量 a 也就是三角 
形 OaQ 的斜边的松度，因此角 a 的正弦和余弦分别是 

sicG== TM cosa= "IUT 

这个事实对 b 及它的相应央角 j 9 也是对的；正弦是 b 4 /|i E >1| 而余弦 
fih / jlbU 。 现在，因为0角就是芦一 a , 它的余弦可由三角恒等 
式 得出： 


:osa+sin^ - sina= 


Oi&l +Oafa; 

NT~nrw 


在这个公式中的分子恰是 a 与 & 的内积，从而给出我们所寻求的关 
系； 

3 A 任何两个向量之间夹角的余弦是 





请注意，这个公式当 fc 相差一个非零常数倍时仍是正确的：如果 b 
的校度扩大一倍，则分子和分母都扩大一倍，因此余弦值不变 .另 
—方面，改变&的符号，则 COS 0 的符号随之改变，因此夹角改变 
180 % 

注： 在三角学中还有一个 定理. 余弦定理，它也直接推出相同 
的结果。它不如 （1) 中的公式那样不易忘记，但是它与任意三角形 
S 边的长度相联系： 

n b-a| II b r + H a il ^2 n ft II • JIal ■ cosO (3) 
当沒是直角时，重新得到勾股定理，但是不管0角如何，表达式 
ib~a U 5 总可表为 （ b — a ) r (&_ a ) 的形式，于是 （3) 式成为 
b T b~Za T b-\-a T a^b T b+a T a-2 | fc fl, U d cosB 
消去方程中两边都出现的项，读者就重新看到关于余弦的公式 （2 
事实上这就证明了》维空间中的余弦定理，因为我们仅须涉及平面 
三角形0 0 纥 

现在 g 们希望找到射影点 P, 这个点必定是给定向 fia 的某个 
倍数 P =7 a , 因为¥条直线上的每个点都是 a 的倍数，因此问 
题在于计算这个系数为此我们所需要的全部就是下述几何事 
实： b 与最近点 P =7a 的连线垂直于向量 a : 

(b ~ x a ) 丄 a, 或者 a r (b—7a)= 0 ,或者 = • 

3B 点 P 在由向量 a 张成的直线上的射影 P 由下列公式给出 


由这点到此直线的距离〈的平方）是 

| 卜- i ^ a || 

(b T bXa T a)~(a J by 

^- y~T~\ - 
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这迚我们能 :_ Tl ： 画图 3. I , 并且列入关-丁 • P 点的正确公式 （ S3.3 ) „ 



这个公式有一个值得注意旳推沦，它大概足数学中姓 m 要的不 
等式 （ 它包含著名的冇关算术平均值和儿何平均值的不等式为内容 
的，它也等价于所谓三筠不等式 t 见练习3 . 1 . 1 ) 。这个结^本身 
看上去差不多是关于一个点到一条直线的距离，也就适 ft 到 la 之 
m 距离的公式 （ 5 ) 的一个附带的推论。这个距离以及这个距离的平 
方肯定大于或等于零。于是，（ 5 )的分子必定是非负的 ； 
( a T a )~( a T by>Q , 如果在两边都加上 （d T b) s ,然后取平方根， 
结论可改写为下列 形式： 

3C 任何两个向逯都满足 Schwcirz 不等式 

|a T b| < !l a II * II b II ( 6 ) 

注：按照公式 （2), Schwarz 不等式两边之比恰是 | C0S 5h 因 
为所有余弦值都在区间〔一1, 1〕 之内： ~l< COS 3< + l, 这孰给出 
(6 )式的另一个证明而且在某种 S 义下是更容易理解的证明， 
因为余弦是非常熟知的，但是我 f H 强调我们的证明之简明性，它只 
相当于对方程 （ 6 ) 作机械运算 a ( 5 ) 式左边的表迖式非负，而且甚 
至当今后我们对向量的长度和内积引入某些新的可能性时，它仍保 
持非负，于是 （5 ) 的右边的表达式也是非负的，从而不用任何三甬 
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知识， SchwarzT 等式就被证 明了' 

最后，还应该着出： （ 6 ) 式中的等号成立当 {1 仅当&是 a 的倍 
式。在这秤情况下， fc 与 P 点里食，从时点与直线间的距离 （ 5 ) 是 
零. 


矩 ft 的转置 

现在我们转而讨论转置。到目前为止. A 11 楚被直接定义为将 A 
沿主对角线作反射而得的； A 的行变成的列，而 A 的列变成 A 5 ■的 
行，换句 话说. A " 的第 iH ‘第/列元素是 A 的 i ) 元素： 

( A 7 ) ij = ( A ) (?) 

转置有一种更深刻的含意，它来源于它与内积的密切联系.事 
实上，这种联系可被用来给出转置的一个新的而且很抽象的定义， 

3 D 转置 A 51 可以由下列性质来确定： 与 y 的内积等于 x 与 

>^3；的内积，形式上，这直接表示为’ 

(4x) I 'y=A ； M I， ^ = x T (A r y) (8) 

这个定义有两个 含意： 

( i ) 它告诉我们，当用其它的方式来定义内积时.转置应该怎 
样变动。这一点在复数情形中具有重大意义 ： 这种新的内积将在§ 
5. 5中给出。 

( ii ) 它使我们可以不经过对 A 和 B 的各个元素的所有下标进行 
讨论而直接计算乘积 AB 的转踅。这个法则完全等价于逆矩阵的热 
知的法则 

3 E 的转置是这些转 H 按相反次序的乘积： 

(AB) r = BM r (9) 

证 按照 3 D , 与 y 的内积等于*与 ( AB ) F i 的内积.另 

-方面，它也是 A ( Bx ) 与 y 的内积，由 3 D , 它又等于 Sx 与义巧的 
内积，再利用 3 D , 它也是 x 与的内积。比较一下这些等式， 

■ 这个不等式 在 1| 0 彳1 . ||6 [| & ^ Cauchy 不等式•苏联人甚至 称之为 
Cauchy -Schwarz - (5 ra«KoacK 不等式 „ 数学史家们看来也同 # 这种《点， 
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我们发现 ( AB ) T = ST 或许读费还需5? — 个具体的例子 i 



还有一种矩阵也是为我们所需要的。对于到一条直钱上的射 
影，数出现在分母中。而对于到一个子空间的射影，这个数就 
变成了一个矩阵 A T A -—-而它的秩是可以事先确定的。 

3 F 对任何秩 r 的 mx / i 矩阵，乘积 AS —个对称矩阵，而 
且它的秩仍为\ 

记住： 对称矩阵是一个等于它的转置的矩阵。 我们按法则 （9) 

来计算 A 的转置： 

(,A T A) r =A T (A' t y (10) 

但是当我们把矩阵转置两次时，又 M 新回到 A . 因此， （10) 式的吞 
端就是从而这个等式说明 A 11 A 等于它的转置，换句话说， 

是对称的。 

为求出它的秩 f 我们将证明 A 与4^4匈相 P! 的核。于是由于秩 
加上核的维数总筹于列数—— r +(. n - r )= n , 而且 A 与 A 11 A 都冇 rt 
列——这就直接推出这两个矩阵的秩是相 同的。 首先，若 x 在 A 的 
核中，则所以 x 也在的核之中-为 
证另一半，先设取它与 x 的内积 .. 

x T A T Ax = Q r 或音 |1 Ax || 2 =0, 或苕 
从而 x 在 A 的核之中 ； 这两个梭是相同的。 

有一种最一般 . ftS 要的特殊情形，即当 A 的列向量组线性无 
关时，从， II ：秩为 r =« 时，则按照汗， 《 x « 矩阵 A T A 的秩也是《 . 从 
而它必定是可逆的。 

3 G 如果 A 有线性无关 的列向 组，使得则 A f A 是一个 
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对称可逆方 哞， 

给一个简单的 例子： 

则 , 

这两个矩阵都有无关的列向量组，秩都为2,而且梭均为零子空 
间. _ 

_练习 3.1.1 ( o 任爸两个正数 x 和 y ,作向量 b =< y 7, 
VJ ), 并取 v ^7), 利用 Schwarz 不等式出较 * 和 y 的 
算术平均值与它们的几何平均值的大小. 

练习 （ b ) 设我们有一个从原点到点*的向量，再加上一个由 
«出发长度为 II 的向量 x + y , 三角形的第三边直接由原点到 
x + y 连结而成，三角不等式 断言： 这个距离不大于前两者之和„ 

II ^+y 1! < II «II + I! y 1! 

两边平方之后进行化简，由此推出 Schwa r 2 $ 等式。 

练习3.〗.2对图 3 . 3 中的三角形 Obp , 使用 （5) 式来求 fcp 的长 
度，从而验证勾股定理， 

练习 3.1.3 在连接原点与 a =( l , 1, 1) 的射线上求一点 P ， 
使之距点 b =( 2 , 4 , 4) 最近，同样地，在过 b 的射线上求距 a 最 
近的点。 

练习 3. t .4 解释一下为什么尚 a , &同时在一条过原点的直 
线上， II 仅在这种情况下， Schwarz 不等式成为等式.如果它们分 
别位于原点的两边又 如何？ 

练习 3.1. 5在《维空间中’向量（1_ 1,…， 1) 与各个坐标 
轴的夹角是 什么？ 

练习 3.1.6 如果把《和&事先化为单位向量的话 ， Schwarz 
不等式还有另一个证明： 

“ =|》办卜2 叫! < 2 
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诮验证中间 的步 w 。 " 

练习 3 . 1 . 7 &通过把 A 4- 1 二 I 转贤， 我们发现逆矩阵的转置等 
于转 a 的逆 矩阵： （ A - qTsCAO -、 证明：若 A 对称 f 则 A - 1 也 
逛对称的. 

练习 3.1.8 构造 2 X 2 对称矩阵4和 B ,使得它们的乘积不是 
对称的 . 注意若 A 和 B 可交换，则乘积仍足对 称的： （ ABrtfA 11 
= BA == AB , 

练习 3.1.9 苦 A 的秩为 r , 则矩阵 A 51 (行秧=列秩 ） s AM 
(由 3 F ) mAA T ( 3 尸应用亍 ) 的秩也都是^给出一个例子来 
说明既使当 A 足可逆的， A 4_ 完全可能不是可逆的， 

练习 3.1.10 甲烷分子 CH 4 排列成如下形式：破原子位于一个 
正四妬体的中心，而四个氢原子位 T 顶点如果顶点位于 （0 ,0, 0) , 
(1,1,0), ( 1, 0, 1 ) ,和 （0, 1， 1) —— 注意所有的6条 
棱的校长都等于所以四面体是正四而体一那么，过中心 
(~, ~ t 和顶点的连线之间的夹角是多少？（键角本身大约是 
109.5*, 这是化学家们早已熟知的了 ， ） 

§3.2 到子空间上的射影和最小二乘逼近 

到现在为止，一个线性方程组 = b 可能有解也可能无解•如 
集 b 不在列空间货 (A) 中，则方程组进不相容的，从而 Gauss 消去 
法将先效„在 m (取> 1 ) 个一元方程组成的方程组的情形中追不 
多都出现这种情况。例如：联立方程组 


2 JC = ^i 

( II ) 


4 X = b ) 

仅当右边的 h 成2 : 3 * 4 的比例时才存解。这个解 x 若存在当然是唯 
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一的，但是仅3 b 与向 iitc =(2, 夂4厂在同一； ft ； 线上时才存在。 

尽管不相捭方枴不可解，但在实践中仍然存在而旦必须去解 
它。一种办法是由 方程组 的一部分方辟去确定 x ，而把其佘的略 
去. 3所有 w 个方程来龆 T 相同的出处时，这样做难以证明是合理 
的。与其期 M 某些方程没有误差而其余方程存很大误差，不如如下 
选取％ 更有道理，即取 x 使得 m 个方程的平均误迫最小。有很多不 
同的方法来规定这样一个平均值，但最方便的是使用乎方和 

E^^-b^+iix-b^^+Cix-boy ( 12 ) 

若存在精确解 cw ： = b , 则误差的极小值为£ = 0。在 b 与 a 不成比例 
的一般愦形屮，函数石 2 是一条抛物线，它的极小值在满足下述条 
件的点达到 


„-=2C2x-b 1 )2*h (^-b 2 )3+(4x~bj)4)= 0 (13) 


2foj+2b a +4f) 3 
~29 


( M ) 


解出 X ,方程组的最小二乘解是 

— 2 bj + 3 b ； + 4 bi 

^+3^+4^" 

对丁'任给 G 年 U 及任何 b ,不难找出一般公式来，首先，误差 E 
不菇别的，恰是向量 狀 一 b 的苌度， 

E= II a.v— b lj = ((a〆 一 bj ) 1 十 (awb„) 2 〕 + 

( IS ) 

平方一下，〒是抛物线是 

E~~ (^ax—b) T (ax—b) = a' r ax' l -~?.a' r bxi-b' I 'b 

它在满 足下 列条件的点苻极小值 

dB ^ . - 

- d —= 2 a , ax — 2 a T b = 0 

3 H 关于一个未知数的课题 M = b 的最小二乘解是 


(16) 


a 7 b 


(17) 


a 1 a 
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儿何上宥，这个解与射影是 E 合的： p=-^a^a 的 古线 上距 b S 近 


读若看到，我们又一次 M 到小二杀 H 赳的几何解释 一 -- 距离 
的极小化。事实上， H1 微分 （16) 式中的抛物线 E 2 , 并II 令导数趋 
丁 ' 0 ,我们已经用微积分来征实前一节的儿何问奴；连结 b 和 P 的 
-以线必定垂直于 a 方向的直线，从而这就给出 正确的 

a r (6— x a) =a T b - a 1 a= 0 (18) 

作为一个次要的注，我们注意到 M 化的情形： a=0, a 的一叨 
倍数都是零，这茶直线仅是一个点。子是 b 到《上的射影就; F|p = 
0。彳¥灾于7的公式 （17) 变成无 总义的 0/0,从而正确地反映了 
倍数7成为完全不确定的这个事实。事实上， x 的所初值给出相同 
的误遨II 0-^-6 |[,所以^是一条水平 直线而 不再是抛物线， 
从而^存在唯一的极小值点在§ 3. 4屮引入广义逆的目的之一 
处对7指定某个确定 的值： 在这种情形下将指定1=0,它滑起来至 
少比其它任何数更"对称抶。 

练习3 . 2,1假设我们在四个不 R 的场合观察一个病人的重 fi , 
其结果£>, = 153 b , = 150 ,冋在最小二乘意 

义下，我们可认定的体重最佳値楚多少？ 

练习 3.2.2 对 3 x=〗0, = 5求最小二乘解 3 

多变元的最小二乘问题 

现在我们进一步，把&射影到一个子空间上，而不是一条直线 
上。这个几何问题是由下列方式产生的，假设我们仍由一个方裎组 
Ax = b 开始，但这一次 A 是一个 mx« 矩阵 -一 代#只允许一个未知 
fc L > 即一个列向 ft a 的情形，这个矩阵有 n 列。我们将仍设想观察 
的次数 w 大于未知摄的个数 u ,所以不得不设想方程姐 Ax = b 不相 
容。大槪将不存在 X 的这样一种选择，使与已知数 b 完全招应，换句 
• U 8 - 




话说，大概 b 将不是 Ap 列向量的线性组合„ 

问题仍旧是选取7使误差极小，而」 i 这个极小化岳在最小二乘 
的意义下来做的 - 这个误差足而且它恰是 b 到 A 的 
列空间中的点 Ax 的距离 (4X 是列向 M 用系牧& ,…, A 作成的线 

性组。 于 楚畀求使误差 E 极小的最小二乘解就相 A 于寻东一点 
使之比列空间中任何其它的点距 b 都些。 v 

我们可以用几何方法也¥用微积分来确定但我们 M 愿意用 
几何的 方法； P 必定是 " &到列空间的射影"，而 ii 误差向量 A "7_ 
b 必定垂直于上述空间（图 3 . 4 ) 。 垂直于一个空间可如下来 表述： 

A 的列空间中的每个向 it 是列向量组的一个线性组合，其组合系数 
为力，… . 换句话说，它是一个形如的向量,的所有 
可能的选择.平而4的这些向跫必定垂 g 于误差向 m 石 r_& : 

(Ay) r (Ax —b) = 0 或 yWAx ~ A T b ) = Q (19) 

这个式子对每个 y 都成立，要;&^这一点只冇一个办法，也 就是： 
栝号中的向量必为零向景， A T AT - A T b = 0 . 几何理论已为我们正 
确地导出最小二乘理论的基本 方程： 



囡 5*4 
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3! —个 u 个未知数 m 个方程的不扣容方积胡 ./U = b 的最小二 
乘解满足 _ 

A T A^~A T b ( 20 ) 

这就 是所谓 “TK 规方程如果 A 的列向玷姐是线性无关的，则由 
3G, )J; 阵逆 fA, 从而，唯一的 M 小二乘解是 

( 21 ) 

千是 b 到列空间的射影是 

p = Ax = A (. A T A )^ l A T b (22) 

出现在( 2 1 ) 式中的矩阵 S = ( AM ) — 1 7二 B &) 足 A 的左逆矩 
阵 之一： 这样一个左逆矩阵的存在是由定 
理 2 0的唯一性部份所保泜，闪为 A 的列向量组是线性无关的„ 

我们选取一个数宇的例子，对它我们既可利用我们的直觉，又 
可利用公式 （2 假设矩阵 A 和向蛩 b 如下 给定： 

1 2 1 4" 

A = 1 5 b = ^ 

0 0 \ 9」 

因为这两个列向量都以零为结尾> a 的列空间很衩易被确定下来 ： 
这个列空问就足三维空间的^-7平〃曲\ b 到这个平面的射影将不改 
变其^ Y 分它们分别是 4 和 3 ,但是 z 分貸变成零，从而 p 
=( 4 , 3 , 0) r 3 这个事实也可用公式 (22) 来证实： 



我们也可直接#察不相容方程组 
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u + 2 y =4 
u + 3 

Ou-hOv—d 

在这 @情5 下，我们所能做的最好选择是解前两个方程 （ 给出7的 
分量 7 T 和 i ) 而略去第三个方程，这个方程的误差永远是9 a 

注意，当 b 实际上位于列空间中时，它就坷丧为列向量组的一 
个组合 6 = Aa :, 于是射影简化为 

p = A(A T A)~ l s\ T Ax~Ax = b, 

M 然，最近点 P 就是 b 本身. 

另一种极端的情形是向 M b 与 A 的所冇列向贵都正交 a 在这种 
情形下， b 不仅不在这个子空间 中， 它实际上还与这个子空间垂 
这拌的几何事实告诉我们：子空间屮的最近点就是它的原点， 

&沿这空间的分童为零，所以它的射影为! ) = 0. 这个结论当我 
们计算7时也可被证实： A 的列时量组就是 A 1 ■的行向量组，而且 
当& $它们都正交时，一定有汽4=0 。I 是 
K = ( A T A ) -1 A T b=Q 从而 p = Ax = 0„ 

对射影到一条直线上的特殊情形验 证一下 这个公式也是有意义 
的： 我们重新得出早先的公式 （17^ 这时 A 成为一个列向量《 , 
是一个数 fa , 而 （2 1 ) 式中的7恰是我们所期望的 
练习3, 2. 3使用正规方程，求下列不相容方程组在最小二乘 
意义下的最 佳解： 



同样地，求解方程组 X =3, x =5 或 



雄习 3.2. 4 ( a ) 令 
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A =\ G l 


b = 


rciE*^ |] Ax ~- b \\ \ 且令它关 -Tw, u 的导数趋于零，比较一下 
听得方程与从而证实微积分与几何一样可用来推导 
正规方枵，这些2程直接来源于 E s 的极小化„ _ 

( b ) 求出解7以及 b 在列空间上的射影 p — Al a 

( c ) 验证 b _ P 垂直于 A 的列空间。 

射彩矩阵 

我们的计算已经证明了距 b 最近的点是这 
个公式用矩阵的术语表示出由 b 到 A 的列空间的垂线这种几何结 
构。描述这种结构的矩阵叫做射彩矩阵，用 P 来表示： 

P = A ( A r A )— (24) 
这个矩阵将任何向量 b 射影到 A 的列空间\换旬话说， P = f ^ 是 
b 在列空间中的分量，而误则是它在正交补中的分量（或 
音，自然也可以说 f — P 是一个射影矩阵，它把 b 射影到正交补上， 
而射影是 P &。 h 简言之，我们有了一个把一个向 
It 分解为两个互相垂宜 的分童 的矩阵 公式： 在列空间涿 ( A ) 中， 
而另一个分量 — 在左核之中，而它就是列空间的正交 
补， 

这些射影矩阵既可用几何观点也可用代数观点来解释。它们是 
一类具有十分特殊性质的矩阵，仙‘且事实上，以后它们将被用来作 
为所有对称矩阵的基本“构件”，因此，在转到对最小二乘法的应 
ra 之前，我们先来叙述它的 性质： 

3J 射影矩阵/>=义(乂 1 ^)_ 1 4 7 有两个基本性质： 

(i) 它蕋幂等的： p £ = p 

■ 这存 在者与 S 换矩3 (它岜用 P 来犮尔 ） 犮主 癸的 危险- 伹 这柙危 险是很小 
的，因为我将决不让这两者同时出现1 




〔 ii ) 它是对称的： p ^ p f 

反之，任何具有这两个性 m 的矩阵都是一个到 p 的列空间上的射影 
矩阵。 

证 从几何角度容易看出为什么这是因为如果我们由 
任意的 b 开始，向量 Pbf 立于所射影到的子空间中，于是，当我们再 
一次射影，作出 p ( pb )= p 2 b 时，因为已在此子空间中， 所以它 
不再改变，这就证明了对任何 b , 都有 p s &= pb „ 从代数角度看， 
由下式可推出相同的结论： 

P 1 =A(A T Ay i A T A(A T Ay i A T ^A(A T A)~ 1 A T = P. 

为证明 P 是对称的，我们按相反的次序乘转置阵，并对 
使用练习 3 . !.7中证明的恒等式 O ， 1 广 ^(丑"）- 1 : 

P T -=(A T yaA T A)- l ) T A^ = AaA T A) T r l A T 
= A(A T A) _t A r = P 

为给出一个儿何的证明，任取向量 b 和 c . 若把 EJ 按通常产生 
P & 的方式射影到子空间中，把 c 射影到它的正交补中，做出 （ f _ 
P ) C , 则这两个向览逛垂直的： 

(P&) T 0-P)C=b r P r (f —P)C=0 
由于此式对任何 b 和 c 都对，我们可以断言 

〆 (j _ p ) = (j 或;= p r p 或 p== ( p r p ) r = p r p 

于是； ^ = P ，即： P 是对称的。 

为证其逆，我们必须由这两个条件推出 P 是到它的列空间的射 
影矩阵.这个列空间由 P 的列向 量组的 所有线性组合 PC 所组成，对 
任何向量 b ,向量 Pb 当然在这个空间中这是因为由矩阵乘法法则， 
Pb 是 P 的列向量组的一个组合„于是，我们可以证明：误差 b — Pb 
与这个子空间正交： 对这个空间中任何向量 Pc , 性质 （0 和 （ ii ) 蕴 
含着 

<b-Pb) T Pc = b I， (i-p) J 'Pc=b T (P-P i )c=0 (25) 

因为 b _ Pb 与此空间正交，所以这就是我们所要的垂线，从而 P 是 

射影. 
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练习 3.2.5 设给定乏维空间的子爷间 s 的一 m 基《 
及 S 之外的一个 MSb : 



通过构造一个以« 2 为列向踅组的矩阵 A , 求出关于子空间 S 的 
射影矩阵 P ,计算 b 到 S 上的射影和它在正交孙 P 上的射影。 

练习 3.2. 6证明若 P 是一个射影 矩阵， 使得它有性质（〗）和 
(；；), 则 / — Plli 存这些性质. 

练习 3.2. 7荇 P 是到 x - y 平 M 内一条直线上的射影， M — 个闷 
来描述 ’ ‘反射矩阵” ff = r _2 P 的作用。从几何上和代数上分别解 
释为什么 L 

练习 3.2. 8证明：若 w 是单位向则秩一矩阵■是一 
个射影矩阵：它祈性质 （ i ) 和 （ ii ). ^取 tt = a / || G 丨| , P 成为到 a 
张成的直线上的射影，且 P & 是点 P =^ Q : 秩一的射影恰恰对应着一 
个未知 M 的最小二乘问题 。 

练习 3.2. 3 把平而射影到 y 袖上的 2 X 2 矩阵是 什么？ 

数据的最小二乘处理 

设我们做一系列试验，而且期堪输出 tty 最好菇输入量 t 的0 
性函数， y = C + Dt . 例如： 

(1 ) 每隔一段时间，我们興 1 M —下到一个飞往火 S 的卫 M 的距 
离.在这种怡况下， t 屉时间，7是距离，而且排除发动机仍在工 
作或 者重力 太大因素，这个： li 星应是以近乎常值的速度 V 在运动： 
y — y 9 +Vt 

(2 ) 我们可以改变加在一种结构上的负载，并测 量由此 而产虫 
的形变。在这个试验屮 f t 足负载，而 y 是形变仪上的读数.排除 
负载过大，使 得犲料 变得可塑外，按弹性理论，将保持线性关系 y 
=C 十 

( 3) 在经济和商业中，生产成本，生产价格和利润之间存 
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在 fl: 复杂的联系.尽管 如此， 在一定的范 ffl 内，它们的联系可能接 
近 -y •线性的.例如：印制1^本杂志的成 本是； ^ :而在 T 一周中，印 
制 L 本的成本为如此等等.于是，出版商可以假定7=[+1«， 
枵用已冇的数据来估计 c 和£>,由此来预卿未来一坷中它的成本. 
系数 D- 一每加印一本的消耗.或晋称为限界生产成本 （marginal 
production cost), 常常比间接成本 （ overhead cost ) C 更能 
评价它的决策 。 

现在的问题是如何由这些试验的结果来计算系数 C 和 D ? 如果 
关系其是线性的，且也没衧试验误差，则毫无疑问 ； 在不同《值上 
两次试验值 y 将决定一条 K 线西 II 所有进一歩试验的 
值都将位 T 此直线上。若有误差，从而添加的点便落在这直线的两 
侧，则必须准备"平均"所有的拭验，而 a 找山一条估计的直线 
-一-请不耍把它与在前而几页中我们把 b 时彰刭 K •上的直线相混 
淆.事实上，因为有两个未知数 c 和 d 需被确定，我们将涉及一个 
到二维子空间上的射影 ^ a 小二乘问题直接由下列试验结果来得 
出 ： 

c+mm 

c+mm (26) 

C+Dt„ = y m 

这#—个超定方程组，而旦若存在误差的话，它将是无解的，我们 
强_ 指出： 未知向 M X有两个分量 c 和 D .. 



S 小二乘意义下 的最隹 解就是使这些误差的平方和达到极小的向 
货.我们选取 f 和万 ， mi 

E 2 = \\b-Ax !! ^(3；: —C — D“） s + … +(N—C-DO: 
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迖到极 小 5 用矩阵的语官来说，我们选取7使得点距 f ) 点 
尽可能 地近夕 在所有的形如^ = c + Dt 的直线中，我们来选择一条， 
使之与所给的数据最为吻&(图 3.5 ). 在图中，误差是到此直线 
的垂直距离 y _ C _ D ~ 正是这些距离被平方，求和并极小化了 .. 

例 下列数宇给出四次试验结果 〈图 3.5) :当时,; V = 0, 
时， y =1. 



H 3,b a 线通 i5 

当 t = 3 时， y = 2 , u t = 4 时， y = & , 

注意： f 值的选取并不要求是等间隔的，试验者可以选取任何方便 
的值 （ 如果试验允许取负值的话，也可以是负值）而木受数学形式 
的任何影响，相应的方程组赴 

r 5 O-fCl r O n 

J 3 2 

-14 」 LsJ 

我们需要作出及其逆： 





( A r A )~ 


于是最小二乘 解歹二 由下式给出: 



最佳直线为 y = —- ~-+ { ^ 

注：我们用 A 线来吻合数据与最小二乘法本身并没有什么特殊 
的关系，在许多试验中.没冇理由期望存在一种线性关系。而且寻 
求这种关系将是徒劳的.例如：假定我们测定某种放射性材料，输出 
值 y 是 Geiger (盖格）计数器在不同时间 t 的读数，如果我们知道这 
种材料是两种放射性元素的混合物，而且还知道这两种元素的半衰 
期 （ 或衰减率）但是不知道在这种材料中它们各占多大的比例。如 
果这两个未知量分别是 C 和 D, 则盖格计数器的读数将类似于两个 
指数的和… （ 而不像遒一条直线）： 

y = Ce - |, + De - ,I, ( 28 ) 

在实践中，由于放射性是在不规则的时间间隔，以离散的貴的 
形式发射出来，因此法则 （ 28 ) 不可能由计数器精确地反映出来.实 
际上，在不同的时刻I，…， f m , 我们得到读数 …， 而关 
系式 ( 28 ) 近似地满足： 

Ce " Ui + De 屬糾 1 


* 在统计和经济屮，它们梠应 宁两种 货物，分别以由 定律给 出的概率槍出 
或榷入 * 而在人口理论里 r 如果出生率刼过死亡率，则 A 和 P 栴是负敢。 
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Ce - f-to + De- (29) 

如果读数多于两个， L!|i m > 2 , 则与前一样，作为 CffiD 的方程不 
mm . 但是最小二乘原坪将给出估计值万和万， 

但是，如來我们知道 CWD 的梢确值，而试图去求出衰减率 ;I 
和"时，情况就完企不冋了 „这就一个非线性最小二乘问頌，它的 
求解比线性问题要困难得多 3 我们仍将作出误差的平方和 E s 并极 
小化之。但不是； I 和^的二次多项式，从而令它的异数为零也给 
不出关于估计值了和7的线性 方程。 在下而的练邛中，我们将限于 
讨论线性最小二乘问题。 

练习 3.2.10 证明： 对一组测遗值"+， ) H — 条水平 
直线 （ 换句活说，用一个常俏函数 y = C ) 将到的最小二乘意义下 
的最佳拟合，趄它们的平均値 

r = y t + -+y~ ' 

^ _ m 

( 与练习 3 . 2 .丨比较）用@卜米语来说，使 

( y _~ y ) s 极小化的选择 i 是样本的均值，而所得的 E 2 适均方追 

a*. 

练习 3.2. 11求下列测量值的最佳直线拟合，并简述解答： 

当 t = - 1 时； y= 2 ， t = 0 时 V = 0 , ( = J R.t y = - 3 , 

t = 2时；>< =— 5 」 

练习 3.2.12 假如不用直线而改用拋物来拟 
合上述练习中的数据。那么在由四组测 M 值得到的不相容方程组 
Ax = b ^ 系数矩阵 A , 未知向量 x 和数据向量 b 许是什么？不嬰 
求计算 I 

§3.3 正交基，正交矩阵和 
Gram-Schmidt 正交化 

在解最小二乘问题时，我们已叙述了正交性内重要性 ， 我幻也 
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将继续说明它的重耍性。的确，正交忡有一种®要性和吸引力，它 
比在敁小:-:乘上的应用要深刻行多 . b 当我们考平面或三维 
空间时，总足设想在 W 肜中加入一 纟 它们17—个参考点， 

称之为原点„不仪如此，想象中构造的坐标轴总是正交的。在沿 x 
- y 乎面选取一组基（:这与选取一组坐标轴是一妈寧）吋，我们总是 


选取一组正交站。 

如果说，基的想法趟把向 M 空间的几何和代数联系起来的关键 
步骤之一的话，那么就会随之想到选取一组正交坫。为把每种几何 
上的构造变化为代 1 U 卜算就需要… 组坫。 为使这些计箅尚化，我们 
就耑要 一 m 正交邱^其至坯可以进一移特殊化，它使得基成为最隹 
的：我 们从一 组河沔正交的问出犮，把它们简化成单位向量组. 
这窓味着此组屮的毎个向蜇都用它的长度来除一下，也就是用 
II « if 来代替《本身，这个步骤把一组正交基化为标准正交基， 

3 K 一组路 y : , …，〜称为是标准正交的， ill-ill 

( 当{矣/吋 给出正交性 

(30) 

( 1 当 i 二 /时 给出规范性 

骹屯要的例子足沅淮 H 対于面或对 _ f 我们不仅考 
虑相互垂赶的坐标轴，而盅在每个袖上标出一个单位长的向量： 



「厂 



f 厂 

e 产 

0 

- 

0 

-， e ■- 0 


.0 」 

F 

- 0 . 

， L 」 


这当然是一组标准正 交基， 我们邱以旋转整个坐标轴系而不改变它 
们之间的夹角.这些旋转矩阵 （ 或正交矩阵）我们将在下面介绍。 
另一方面‘，如果我们不足考虑而 II 考虑它的一个子空间，那么标 
准向量 Q 完全可能位于这个子空间之外。这种情形下，是否可以寻 
找到一组标准正交基部是不 淸楚 但是，我们将证明：这样的基总 
是存在的，它可以山 1 T : 何一组出发， ffl — 种 M 单的方法构造出 
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来 5 这种粑一 m 斜坐标轴化为直坐.标轴的构造法 . 就是所谓 Gram - 
Schmidt 正交化过程。 

总起采说，这一节的三个玷本内 容是： 

C 1 ) 当 A 的列向量组是标准正交组时，的最小二乘 

解。 

( 2 ) 正交矩阵的定义和性质 

(3) Gram-Schmidt 正交化过程和它作为一种新的矩阵分 
解的解释. 

射彩和最小二 乘法： 正交情形 

设 A 娃一个 mxn 矩阵， J 1 设它的列向跫是正交的，则这些列向 
M 必竺是线性无关的，所以已 g 这个列向 W 空间的射影矩阵和最小 
乘解 f >= A ( AM )- U r 和这些公式对于 
正交列向 U 的愦形不仅仍然有效，而且变得板为简单，因为 此时矩 

阵是单位矩阵„ 

3 L 若 A 的列向站组是标准正交的，则 



(31) 

这就直接改进了代数 Vi 达式为 p 和 i 变为 

P ^ AA' 1 和 ^ = A ? b (32) 

当然在几 H 上也应同吋得到改进；一个简单的代数公式当有一个简 
單的几何解释。当坐标轴互相垂直时，对此空间的射影就被简化为 
对每个坐标轴的射影 ( S 3.6), 射影矩阵成为 P = a iai T + ……+ 
o.a. r t 
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b 



h 轴 


明 hG 到一个平面的射彭》到芷交的 q 和影之和 

f ' ； | ! ] f a；f) ] 

P= AA r ；^Ui a a c, :卜〜办十 … + a ■办 

[ ! i J w 

(33) 

逋常的耦合项 （A T A)〃 不出现了，而且 P 是 n 个射影的和 • 

现有五个方程，它们是这一章的基础，把它们收集在一起可能 
是有 用的： 

1. Ax=t 给定的方程可以是不相容的； 

2. AMV = A T b 关于 V 的正规方程； 

3. P'^A^x b 到 A 的列向景空间的射影： 

4. P^ACAM )-^^ 给出 p=P6 的射影 矩阵； 

5. X 和=?=九4 7 ' = (1 1 £! 1 71 + — + 0,0 1 / A 符正交的列向 

量组的特殊情形。 

例1 下列情形是简单的但是也是典 型的： 假定我们把一个点 
6=(x, y, z) 射影到 x-y 平而上 a fi 然它的射影是 p=0c, 0), 

而旦它是到 x 轴和7袖上分别 射影 之和： 
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例 2 存在这样-■种情况.一条 K 浅的拟 含引出 正交的列向 
如果测量值 h 和 h 是在关于 f = 0对称的时刻取的值。 
例如， = t £ = o 扣 1 S — = 导出三个二元方 

I 4 U 

C + Dt , = b , 

CH.DH 
C+Dtj = bi 

这两个列向兌逛正交的。虽然它们还不是标准正交的，但这只需一 
个简单的单位化 g 枰：除以它0各个的长度 〆 了和 〆 了，并把未知 
数换为 c =C — 257了 ； 



iA/3 

-i/〆 ？ f 

'卞、 


: l 

.fi J : h z 

j iA/ 了 

0 ； 


i 

[ __ 

1 


i lA/ 3 

i/v/Tl 



视在4 T AMi 单位矩阵，从而 S 小二乘解可以一呑就写出来: 


X = A 7 '；)^ 


(h i 4- b 7i + bi)/\/ 3 



(34) 
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换句话说，最®寅线的系数 CfrD 是 

C= - D=」 -—— — bl + \ 

V 7 3 3 _ U v/2" ~ 2 

现在分 M C 和 D 中的每一个都有自己的含义。 C 是数据的平均值或 
中值； 它给出用水平宜线的最佳拟合，而 Df 则是用过原点的直线 
的最住拟合， K 为列向量组莊正交的，这两个分离的部分的和就是 
用任何类型直线的最佳拟合。 

注： X ; 丁 '一个标准正交基的特殊性质的研究常常带来一种很大 
的副作用：一个通常的基往往被用它所不具备的性质来插述•如果 
把毎个基都看成标准正交 ® ^将导致错误„对于刚刚证明的关于射影 
的特殊性质就是如此。在标准正交的情形，它是 U 个一维射影的和 = 
直观上彻甩一个向 最可以 被改写为它沿坐标轴的分截的和，但是这 
依赖于这些轴的正交性_>如果 X 轴被直线 x 代替，而且 (0, 1) 
被射影到这条直线上以及；/轴上，那么这两个射影的和与原来的向 
fl (0, 1) 就相距菸远了。 

( a ) 写出对 K 述数据的关] >= C + Df 拟合的四个 

当 f = — 2 , =— 3 当 t = 一 1 

当 t = I , ；/ = 0 当 t = 2 

证明这些列向量趙正交的并化成单位卩, j ； ft 。 在新的问题 A ; c =6 中未 
知数 c 和 d 是什么？ 

(&) 找出最佳攻线.作图并写出误差护 5 
< c ) ffl 原来的两个未知数，四个方程组成的方程组來解释误差 
为零的事实：右适的 b 相应的列空间在什么地方？它的射影 P 是什 
么？ 

练习 3*3.2 把向量 3 ， 0) 投影到正交向量〜一 

j , 一 + )和一上去，外求出它在 
〜听在平而上旳討 



y \ 


_ m • 



练习 3.3.3 求出 b=(0, 3, 0) 到 a 3 = (, 一 ) 

上的射影，把三个一维射影加起来并解释所得的结果，为什么 P = 
aja; +a：；i^ +a s a 〖等于单位阵？ 

正交矩阵 

简单说，一个正交矩阵就是一个具有标准正交列向量组的方 
阵' 我们将用字母0来表示一个正交纪阵，而且用 gi , …，化来表 
示它的列向量.我们已发现一个重要的事实，即 G T G = L 这仅仅 
是列向童组标准正交的另一种说法而已： 

( —— (7? -- ! 

I 

0 T Q = ! - 

[■ — —ql - 

(35) 

方程 (35) 是上面 （31) 的一种重复，在那瓜我们写为 A1=HW 丑矩 
阵不一定是方的. 

当 Q 是方阵时特殊性岳 什么？ B : 别在于：一个具布无关的列向 
盪组的方阵是满秩的，秩 r = i 从而是可逆的：若 Q 11 是一个左逆 t 
则它就是逆矩阵，换句话说，0^也是右逆，从而 
3 M —个正交矩阵具有下列 性质： 

= = = (36) 

按照正交矩阵的要求， Q 苻标准正交的列向量 m, 不仅如此，而且 
它的行向量组也是标淮正交的。换句话说，如杲 Q 是一个正交矩 
阵，则是正交矩阵. 

后面这个关 T •行卩 V| 玷纟 FI 同时也是标准正交组，这个结论直接由 
00 r -jffi 出1乘积要对 Q 的毎一行与其它任何一行作内积，而 

* 大 a 标 i 正交矩阵可能是一个! !1 好的名宇， a 是这样一个改 sg 为时太晚了 t 
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ii 由于其积娃单位矩阵，从而这些行向量是标准正支的，我们必须 
玢到这个结论是多么值得注意„行向 M 冇与列 |:_jS 完全不同的指 
向.列 W 蛩互相垂直时，行向量也互相垂直！ 

例1 

f cos9 —sinCl f cost 1 sln^l 

0 = \ 0 T =0'*- 

Lsin^ cos^J I — sin(? cosCJ 

o 把每个向量旋转_，而 tr 则把它旋转回来~^角， 

例 2 仟何置换 p 都是一个正交矩阵，因为它的列向量恰是单 
位向量而且两两正交的——1在毎一列中出现在不同位置上， 



0 I 0 \ ,001 


如果 P =| 0 0 1 I 则 =j 1 0 0 

j I 

10 0^ 、 0 1 0 
在前一情形中，单位矩晬仅冇两行交换位置，它有特殊的性质 p - 1 
但这不是一般情况，也不同于第二个例子的情况，在第二个 
例子中三行均移动了•也应注意到： j ] 不是例1中的旋转<? 
之 一 ； 0值不产生 P . 而 P 把每个点 O , 反射到它的关于《*斜 

线的镜面像4上。所以我们以前猜想每一个正交矩阵0 
都是一个纯粹的旋转是不对的。 

还有一个性质，它是旋转矩阵0和置换矩阵 P 所共有的，而且 
事实上也是每个正交矩阵所共有的 • 它是所有性质中最重要，最具 
特征的一个性质： 

3 N 用一个正交矩阵0去乘一个向量将保持其长度 不变： 

li Qx |i = || ^ II 对毎个向 _fiu (37) 

而 II 它也保持内积不变： 

"(0^) T (0 ^)=^V 对所有尚量 x 和 y (38) 

证明是直接的，因为 x r j ; y =； ic r y , 如杲 y=j 
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x , 这个等式变戍 l o.v r = h r ,从招 n . i 内 fn 不变时民度也不 
变. ' 

例对于前而描述过的_‘平而旋转”， 



向话校度保持不变，因为 

(^cos3—j»sin^) s + (Xsiid+ycost 1 ) 11 =X 2 十 y 2 
练习 3.3. 4若 Q ,, Qz 都是正交矩阵，从而都满足 （36), 征明 
仏仏也姑正交矩阵， 

练习 3.5. 5若 m 足一个单位向蛩，证明04 -2 U：/ T 娃一个正 
交矩阵 （ 它就是所谓 Housdiolder 变换 ） „当 i .1)/八1, 
K 体锌! HC •来， 

练习 3.3.6 也一 个位 T 第三列的 1 MM , 忮得矩阵 


Q = | "\/ T 。 | 

i l/v y a" -1/v 7 2" :, 

成为正交矩阵.这个向 馈必是 一个单位向量而且与其它两个列向贺 
正交。这个列向 M 的选取有多大的自由度？验证0的行向贷问时妇 
动成为标准正交的。 

练习 3.3. 7 通过直 抟计算/口来验证：对于标准正交向量组 
的任何组合 u = X 19 1 +…+ H ,勾股定理均 成立： 

I! v || 

用矩阵的形式来写，就是 u = Qx , 因此这诜给出长度保特不变 t 
f ! QxV = ! U -：| 1这个事实的一个新的 m 洁楚的证明. 

练习 3.3. 8下列矩阵足正交的吧？ 
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Gram Schmidt 正交化过程 

我们已强调指出了标准正交向量组所带来的特别方便之处：为 
求5的逆.我们 f 耑要把它時 S —下。而解跤小二乘问题 Ax =&, 
我们只需要给出 7 = 不过每次我们在开始时都谣要强调说： 

“ 如果列向量组是标准正交的……”《现在我们的目的就是要找到 
一个把列向量组标准正交化的方法. 

这是—种手续，它可以在輯课题本身之前先施行.为了解释 
它，我们举一个谥简单的例子。我们给定两个无关的向量《和 b , 
我们希望造出两个相互垂直的向和这第一个可以取 a , ^ 
- a . 于是问题成为求与 它垂直 的第二个向 fi 。 位这恰好用到本草 
—开始时所给出的 方法： 向遺& _!>是与 a 垂直的，因为 b 的沿 a 
方向的分 P) 已被减去了 „这第二个轴将落在这个方向上： 

a T b , . 

v ^ b-p = b - q - t — a = b 一- ^ 厂… （ 39 ) 

立即可以验证— 6 

为给出 Gram - Schmidt 正交化方法，现在假定有第三个线性无 
关的向玷 C . _卜'—步的想法是完全一样的 .我们 减去 c 在〜和&两 
个方向上的分督:，而这些分踅我们已经求出来了， 
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w 自然与 y , 和 a 是垂直的：例如 - 


( 40 ) 


0 

v 〜 =v ; c …〜厂 r 〜 =0 

实际上我们是由 c 屮减去它在 a .b 张成的平面上的分量，但是使用此 
平面上已建立起来的相 互垂直 的方向 h 和〜就容易得多了，因为 c 
在这个乎面上的射影就是它在轴〜和〜上射澎的和，从而使(仙)式 
变成如此简单了。注意， h 不可能是零向量，否则 c 将位于 fl, b 
张成的平面之中，这与 a, b 和 c 线性无关相矛砑 . 当然，向量 y, 
只是正交的而不是标准正交的.为了把它们化为单位向婧，我们将 
对每一个除以其 校度： 



这种用减去…，适当倍数来造出新的^的正交化方法可以 
综述如下： 

30 任河一个无关的向量组 a! ，… ，a, 都可以用 Gram-Schmidt 
正交化过程转化为一个正交向量组：首先，〜=〜，然后，使每个 
。，与 前面的 Dw …，均正交： 



对每个 i 来说，由原来的〜，…，山张成的子空间也由心，…， h 所 
张成，而最终的向量组 1 =〜/|! 1 « (i = l , n ) 是标准正交 

的. 

例假设给定的向量组是 
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取 h 按 (39) 式算出: 



1 

0* = £11— yW! = 

而第三个 垂直轴 由方程 (40) 给出 ； 


最终的标准正交向量组为 



Gram .. Schmidt 算法.中.11]」乂 l ! i 接，1乃北它应该 t '个 肩.接 
写出其结果 「; ij 相当简单的方法„我们想说明一个怎样能做到这一 
点。怙况正好吋与高斯沿去:上相比较，在那见初3变换是以一神 U 
然的方式来选定，但*翌想$:先列出整个的 W 列则攰非常麻烦的。 
闪此， 把结架 m 渖单的形式记&下来的正确方法是给出分解式 a = 
K ft :' 在口前情形屮， Gram - Schmidt 正交化过程将用矩阵 A 的 
另一 种分解式记乘下来。 

如冏消去法的情形一样，关键在于羿淸楚 原来 的向 AU . 怎样由 
£ i 咚得出的向貴1还原出来？让我们采砑究一 V 刚才的例子，不难 
算出 

a 】= y ] 

= 7/^1 +5^1 Piif 

a ., — I + + 

这个方程组也可用矩阵记号写为： 


C«I 0 ? a 3 X<h q 1 q,) u -"- 、/ ^ | (42) 


原来的矩阵 A 槭分解威一个正交矩阵 Q 和一个上三角矩阵 R 的乘积， 

G 的列向踅组是我们所要求的标准正交卩 1] 量組.而 B 的元素（几 
乎)可以从方稃 （41) 屮 Tf 接看出.这个方程把 a, 表示成心，… ； 1的 
组合，从而我们只要川 l|h Iki 代替〜，用 ||h 11心代替〜，…就 
行丁。 TMA 足 g if …， A 的线性釘介而不涉及？ 1 + 1 , ■■_. (?,. 这就 
是 K 赴上三角矩阵的道 HL 这个 m 合的系_&组成尺的笫 i 列， W 且 


^ 1 — v"" 2 Q ! 

'/-.“ 1 +、/心： 

a 3 = V L 卜 ,+ '/ 卜 H y 
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其中对角线元桌 f 为零， 这屉 因为在( 4 〗）式中用代# 
所以对角线元索是非等系 tu a r。 尺的对知线元素都是正的， 
因而是可逆的.这就得出了本节的主耍结果： 

3P 任何具冇线性无关列向 ii 组的矩阵 A 可分解为乘积 A=OR; 
q fils 列问量组是标准正交的， mi'K 是一个可逆的上三角矩阵.如果 
原来的矩阵是方阵，则这两个因子 Q 和 R 也是 方的， 而且 Q 成为一 
个芷交矩阵， 

由出发，解最小二乘问題 = 就变得很容易了•由 
(: M) 式， g 们知进 

( A 3 ' A )' l A T b^ _ 1 W 办 

似是 0 的^; 1 ht 组是标准正交的，所以 G S _Q 二厂于是 

lc^(R T R)- L R T Q T b^R~ l Q r b (43) 

因此为求£,只耑耍计算矩阵与向泣的乘积 Q4, 以及对三角形方 
程组1=04进行倒转代换。预先的正交化工作使我们摆脱了 
计算 A r A 和规方程各' 

练习 3.3.S 应用 Gram-Schmitlt 正交化过程于 

[ 0 , 0 , - 1 , 

1 

并把结果写成 A 二 0R 的形式. 

综习 3.3. 10把 g] 分解成卵。 

练习3,3.彳1把 _ 



的 Gram - Schmidt 正交化过程丧为的形式,给定《个具冇 m 

• 这些长茂 u 出现在<心）式的对角线上 D 

* 真正解舣+在于计订量（审实上，共把河先 [ TjTft ： 包含去】斤算 Siii 大了）， 
而在于数值的稳定性，至少3我们 R 为让川 在筇习 S J .14 中价出的0改了的 Gram - 
Schmklt 苒法， C 更耔的 ） Householder 算法时是如此 B 
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个分量的向量 A , G 和 K 的形状各是什么#? 

练习 3.3.T2 对上题的 A 及 b =( l f 1, O ' 使用来解 
最小二乘 

练习 3.3. 13 ^ A ^ QR , 求出 A 的列向量空间的射影矩阵 P 的 

的简单公式. 

练习 3. 3. 彳 4 证明下述两个步骤 



得出与公式 (40) 相同的第三个方向这是一个修改了的 Gram- 
Sdimidt 正交化过程的例子，在这个过程中为保证数值稳定，一次 
只减去一个射影。 


函数空间和 Fourier 级数 

这是一个简要的选读章节.但是它有若干良好的 意向： 

( 1 ) 首次介绍一个无限维向置空间； 

(2 ) 把长度和内积的想法由向量〃扩充到函数 /(；(); 

(3 )把/的 Fourier 级数理解为一维射影 的和； 张成此一维空 
间的正交“列向量"是正弦和余弦函数。 

(4) 把 Gram-Schmidt 正交化过程用于多项式1、X, 


( 5 ) 找出 ）(4 的最佳直线逼近， 

我们将按上述梗概有系统地叙述.这将开辟线性代数应用的新 
领域. 


1在研究了所有有限维空间 K •之后，很自然地想到 if- 
它包含着所有的向量《 = (u lf 以，心，…），这个向量有无穷多 
个 分量。 如果对分 量心没 有任何限制，这个空间实际上过大，从而 
先去它的价值 D —个较好的想法是保留长度的熟知的定义 （ 分置平 
方和的平方根）.而且只包含那些冇有限长度的向量：无穷级找 
E u (I ^ = 1^+4 十… (44) 
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必须收欽于有限和。这个向量集合仍是无限维的，舸 始： 它包含向 
n( i f y, y , …)不包含 ( i ， - j —, —■") 具有 有限挺 

度的向量相加仍是有限长度 （D D + W fl < ! u | + II w | ) ,乘 
纯量倍也如此，所以它们构成一个向量空间，它就是著名的 希尔伯 
1 ♦空间 （ Hilbert spaces ) , 

希尔伯特空间是既允许维数是无限的，而同时又保存了通常欧 
氏空间几何的最自然的模式。椭圆变成为无限维的椭球，抛物线变 
成为抛物面.而垂直则仍可按以前同样的方式去理解：向董 w = 
( , Vi, …）和 W=(W,, TVs. …）是正交的，如果它们的内 
积为零的话， 

y r \v = yiWt w 2 4 .= 0 (45) 

这个和式保证是收欽的，而且对任何两个向量 y 和 w，Schwarz 不 
等式 |v T v.| 11 ■ S w H 仍然成立。甚至在希尔伯特空间中， 

余弦的绝对值也决不大于1 。 

关于这个空间还有另一件值得注意的事，它可以在各种各样的 
表面形式下被找到。它的 *■ 向量"可以是一个函数。这就引出了下 
述的第二点 

2. 假定我们考虑一个定义在区间0 <x<2a 上的函数，例 
如： f ( x ) = sinX, 这个 f 如一个具有连续分童的向童，这些分置就 
是 siiP： 沿整个区间的值，为求出这样一个向量的长度，通常的那种 
把分量平方后相加起来的法则就不适用了，这样的求和自然地不可 
避免地要被积分代替 ； 

11 f II i = ^ (l(.x)ydx= J^(sinx) 2 dJ；=^ (46) 

我们的希尔伯特空间成为一个函数空间，它的向量是函数.我们已 
有了度量它们长度的方法，而且这个空间包含所有具有有限长度的 
函数 -一- 就如上面 （44) 式那样，但它 f 包含函数 FO) = ：[/ X , 因为 
1A 1 的积分是无限的。 
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由枳分代荇求和的想法引进了沔卜函故的内 积：如 果 = 
sinx 和 gO ) = cosA ：, 则 

f T ■ j" / (^*)g(A ； )(J-'；—I sinA ： coss ： dJ(= 0 

这个内积仍然通 II / I ! 1 与长度联系起来，而且仍然满足 
Schwai'z 不等式 ： i 严 g ! _< II J I ■ I ! S I „ 当然如 sinX 和 cos % 这样两 
个函数一它们的内积为岑-一-仍然将称为是正交的。在除以它们 
的饫度之耵它们还是正交雄位向毡。 

3. 函数 〆 A ：) 的 Fou r ;e 1 •级数是一个关于正弦和余弦函数的展 
开式： 

y(^x) = a a + a 1 cos >： + i'isinXH-a 2 cos 2 A ： -r 62 sin 2 >：+*** 

为计算一个典型的系数，例如：我们在其两边同乘以相应的函 
数 sinx , 然后由0到 M 积分。 换句话说，我们取两边与 sinX 的内 
积， 


: vO ) sinxdJS : 


sinxdx-\- Qi 


：osXsinXdx 


+ b 


( sin ^) 


在等式右边，除了 sinx 乘其自身这一项外，其余的积分均为零，因 
为正弦函数与余弦函数是相互正交的，于是 = 的系数是 




^ y(x) 5 inxdx 
rfTU - 

J ( sin > r )2 办 



或 & iSin ^=-^ T '^- f (47) 

这个计算的要点在于看出它与射影类似。向董 b 沿由 a 张成的直线 
方向上的分遛，在本章一开始就已计箅7 : 


-144 - 





在一个 Fourier 级数中，我们把函数 y 射影到函数 sil # 上.它在这个 
方向上的射影 P 价是& i S i ⑽这一项。系数6 !娃不相容方程组 ih S i 0 
=；^的最小二乘解。换句活说，它使函数 6 lS i n Ar 思可能靠近函数 y 
(见练习 3 . 3 . 〗 6 ) 。 对此级数的其它项也同样是对的，它们每一个 
都是 y 在一个正弦函数或余弦函数上的射影，冈为这些正弦和余弦 
函数是正交的， Fourior 级数恰给出“向霣" y 关于一组（无限多个） 
相互垂直的坐标轴的绝榇％ 

■4. 除了正弦和余弦函数之外还仃很多有用的函数，而且它们 
不总避正交的。其中最简单的就是多项式，遗憾的是驻 M 不存在这 
样的区间.在諷上酣三个坐标轴（函数1 , x 和;<= ) 是垂直的。 
(1 和的内积总是正的，因为它; E： x 2 的积分 3 ) 于是，最接近 
y ( x ) 的抛物线也不等于它在1 , x 和/上射影之和，而一定有一 
个耦合项，就象在矩阵情形中的 04^4)^ —样.事实上这个耦合项- 
由练习I. 5 .11中的病态矩阵给出 5 左区间0 1上 



这个矩阵冇一个很大的逆，因为袖1， x 和^距相 S 垂直相差太远 
了，如果我们再添加更多的轴，即使使用一台现代的计算机，求逆 
也是不可能的。为求10次最笛逼近多项式而解正规方程 a t aT = 
A 7 b f 在实际上也是做不到的。 

更确切地说，用 Gauss 浩去法 解正规 方程也是没有 希望的，因为 
每个舍入误差将被扩大 10 ^洁以上似另一方面，我们又不肯放弃 
它，因为用多项式來逼坻应孩是能的，所以正确的想法是转换到 
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正交轴上去 ^ 这意味着施行 Gram-Schmidt 正交化过裎 ，即： 寻求 
I, X和 f 的组合使之成为正交的。 

取类似于_1< 1这样的对称区间来 做此事 是很方便的， 

因为这使得所有的X奇次幂与偶次稱均正交： 


l r 5( = J 咖 => 0 x t x z ^Y = 0 

于是可采用化= i 和 h = x 作为前两个 IH 交坐标柚，而只需调整1 
和/之间的夹角。由公式 （40), 第三个正交多项式是 


W * = A： S — 


l ^ 1 


X r J« S 



用这种方法构造出的多项式就是 Legendre# 项式，它们在区间 ~1 
<*< I上是相互正交的„ 

»证 


中 4 H >- =。 

-1 

现在，只需求出一个函数到前10个（或 II 个）， Legendre 多 
项式上的射影，便不难算出它的10次最佳逼近多项式 3 

5. 设我们在区间 0< x < 1上给定一个函数，比如/0)= 
我们希望用一条直线 + 去拟合它，那么至少有三种 
求最佳直线的方法„如果我们比较一 K 它们，那么整个这一章所述 
内容可能显得更清楚了 1 
(i) 极小化 

E 2 = | (\Z~x-C-Dxydx 

1 4 4 - n a 

H— c — y 奸以+朗 - T 
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令 fi 2 的导数为零，得出 



--^-+2C+D= 0 



它的解是> 士 

( ii ) 用最小二乘法解 £ 1 , ^ j | j = C v ^"〕 或 > U =/ 



正规方程的解是 

y = (a t a)^ i a t { 



( iii ) 用 Gram - Schmidt 算法造出第二个列向貴 Jf 一 J — 它 
自然与第一个列向量正交： 2 
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则 W 的射影娃 



在我们的算法中只有方法 （i )可能出埂惜 K( 现在它是正确的）， 
因为导数为 0 只是妒极小的必要 条件. 

练习 5.3.15 求向 -M 。“… ) lV:! 长 [2 以及 

函数 （ 在区间 0 < 1上）的长度.在这个区间内 e 1 与 

^的内枳是 什么？ 

练习 3.3. IS 用令导数为0的 方法眾 心的値使得下式嵌小(匕： 


I bisinJC—y [[ £ = (bi sin ；； — y(x)) 

请与 Fourier 系数 （47) 做一比较。 = cos ^, h 等于什么？ 
练习 3.3.17 求分段函氍 yO ) 的 Fourwi ■系数 a D , 〜和 W , 
yO ) 在区间 0 < x < ^ 上等于 i 而在区间: ：< x <2 jt 上等于0 ; 
y r i y T cos ^ 

a 。 a,= ' GosTre^c) 

i y T s\nx 

bl = 一 ~ (iin^ S iu>r 


练习 3.3.18 求下一个 Legendre 多项式-个与1 ,和 

V — j 正交的三次多项式 

练习 3, 3. 13 对区间1上的抛物线 y 束说，与 
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它最接近的直线是 什么？ 


§3.4 广义逆矩阵和奇异值分解 

一个不相容的方程组山! = &的最隹解是什么？这是本章的关键 
间題，到目前为止，它还没有得到彻底的因答.我们现在来回答这 
个问我们的目标是找到 一个对 任意给定的系数矩阵 A 和左边的 
&确定7的法则. _ 

这个目榇已实现了一多半，因为我们知道应等于什么，对 
每个 x 必定在向童空间中，它是这些列向量以 x 的分 
量为权的组合.于是的最隹选择是这个列空间距给定的6最近 
的点 P , 这个选择使误差丨达到极小.換句话说，最 
佳选择是&到列空间@射影： 

A~x = V =Pb (48) 

在大多数的 f 形中——我想它包括了大 f 数的实际问題——这 
个方程足以确定7■本身（它是正规方程 A 的另一种形 
式，在 SI 节中我们是令 E 达到极小时得^它的„ ) 当然，如果 P 被 
衷为 A 的^[向 量组 合的方式是唯一的， 7 就唯一确定，而这个组合 
的权就是7的分这就相当于第二章的 •■唯 一性情形”.而且我 
们还知道方程 D 有唯一解的几个等价 条件： 

( i ) A 的列向量组是线性无关的. 

( ii ) A 的核仅包含零向量. 

( in ) A 的秩为《。 

( iv ) 方阵是可逆的， 

对于这种情形， &幻 式的唯 一 M 我们在本章中巳讨论过，这就是： 

(49) 

竺个相当简单的公式包括了 A 是可 逆至阵 这种最筒单的情形，这时 
7与原来方程私=&的唯一解相同： 

这就启 发我们来考虑描述我们目标的另一 神方法 ： 试图对一个 
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可以是不可逆的 矩阵忐 定义它的广义逆矩昨 （pseudoinverse ) 
而当矩阵4可逆时，我们希望 A + =A_i。 如果矩阵 A 满足上 
述条件 （i)~(iO, 我们就可規定广义逆是（扣）式中的左 A + - 
{A' £ AT l A T ； 但是如采条件 （i) 〜 （W) 不能被满足，则7不能被 
唯一确定，从而广义逆还需要另外定义。我们必须在很多 
满足 P 的向量 中选定一个，而且这样的选择，按其定义，将 
是不相容方程组 Ax 二&的最佳解I =八 + &。_ 

这个选择将按下列法则来 进行： 在的所有解中，最佳 
解是具有最小长度的 一个。 为找到它，关键在于 记住： A 的行空间和 
梭在中互为正交补空间 „ 这意味着 f 中任何一个向量均可分 
解为两个相互垂直的部分：它在行空间 f 的射影和它 jE 核&的 
翌 影。 如果我 f 把这个分解用于方程 AY = P 的一个解则 
f + w , 其中叉在行空间中，而 w 在核中，现在宵三个重要的 
事实： 

(1 ) 分量5至身是 P 的一个5,因为 Aw = 0 . 

A = A (I,十 w) = A 7 D -=P。 

( 2 ) A r - p 的所有解在行空间中有相同的分，只是在核 

中的分量 w 不相同„ "通 解是一个特解 （ 在这里是5 ) 和齐次方程 
的一个任意解 w 的和\ _ 

(3) 因为这两个分量；和 w 是相互垂直的，这样一个解 $+w 
的长度满足勾股定 _ 

[1 ^,+ wr= [| 2 + ilwJi \ 

我们的结 论是： 具有最小长度的解是 瓦。 我们应该有一个完全位于 
行空间中，而其在核屮分跫为零的解. _ 

3 Q 任何方程组 Ax = b 的最小二乘意义下的苡佳解是向位^； 
C 如果采用原來的记号，则是 , 它由下列两个条件确定： 

^ A V S ^¥ M 00 re - Penrose 逆矩阵,它《3以咒 发现# 的 fei 字，戌更 一 Ea 叫 
做 A 的 ft 广了的 S 矩阵 （generalized inverse ) „ 但是有很多共 K 的矩阼 ， 它 JtTi •在们 
朽斌予 A + 的某些性质而不是佥邡性 FU 位技称 为推广丫尤迚矩咋。 VIZ , ::]广义炸 
这个及® 災® 当一 些。 
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(1 ) A I 等于 & 在 A 的列空间上的射影， 

(2 )7 在 A 的行空间 之中。 _ 

** 解" 4；(=&的矩阵就是广义逆矩阵 A +, 它由 V = A + & 来确定。 

从几何的角度来解释广义逆是最好不过的了.我们再来看一看 
对四个基本子空间的解释（图 3 . 7 ). 



矩阵 A + 组合了两个独立步骤作用：把^射影到 P 点，然后 
在行空间中找出唯一的一个向量满足—种极端的情 
形是当&垂直于列空间时，换句话说， b 在左化零空间中，这时 P = 
0 . 从而 7=(^ A + 把整个#0^)映$零向量，另一种极端的情 
形是 b 在列空间中 t 于是 P = b . 而且7可由"求逆"来得到（在 
2 Z 中我们已注意到，如果我们把它理解为由 A 的行空间到其列空间 
的映射时， A 是可逆的： A +就 是逆矩 阵）。 

_任意的一个&均被分解为如下两种极端的 分量： 分量 P 用来得 
出而另一个分量& —P 被零化.由这样的描述及图 3.7, 我们 
可以列举广义逆的若干基本性质 ： 

矩阵。它由中一个向量&出发，造出一 

十《_中的向置"^。 

' (； OA + 的列空间是 A 的行空间，而八 + 的行空间则是 A 的列空 
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N (作为一个重要的推沦，秩秩 A )。 

(3 ) A + 的广义逆是 A . 

( 4 )—般说来 AAT 今匕因为 A 可以没打右逆，但是 AA + 总是 
等 T 到列空间的射影2 ; 

AA + b = Ax = p =Pb 或 AA*=P (50) 

例 1 


叫 0 1 0 

*■ 。0 0 J 

它楚一个不可逆矩阵.它的行空间和列空间均为 K 3 中的 " x-y 
平面”相同，它包含所有向量 y ,0) o 核是 " Z - 轴”.它自 
然与行空间正交.为找出薛们先把&射影到列空间上 ； 

若吒] 

&3 

然 G 我们解 AP 或 



它的解很容易写 出来： ^ = 且 G 是任意的1在这无穷 

多个解中1我们选取一个长度最 小的： 它的第三个分量 G 应是零. 
这就得出 7=( b lf 0) r r 它正如上述理论所预言的那样位于 

行空间 （X - y 平面）中。最后，我们得到 r 义逆 



A + = 



和 


A*b 



对这个特殊的矩阵， A + 与 A 相这是因为 A 在把它的行空间映 
射到列空间的过程中，其作用与单位矩陴相同，而且广义逆不涉及 
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其余 部分。 

总起来说，不相容组 


Xx +0h 十此 3 = 1 

0 欠 ：+ X: + 0 冗 3 i?2 

OXt + Ox^-hQx^^b^ 
的最佳解满足前两个方程 且令心 = 0 , 

倒2 


0 0 0 -[ 

A =| 0 ^ a 0 0 

I 0 0 0 0 J 

其中士>0,士>0,列空间仍然是 *- y 平面，所以对 b 进 ■^射 
影时将把它的 * 分量零化为： p = Pi ,= ( b ! , b t , o y , 方程47= 
p 成为 


/ \ 
0 0 0 

0 /i a 0 0 

^ 0 0 0 0 ^ 



前两个分量被确定为：而其余两个分量 
由于要求长度极小所以必须 是零， 于是最隹解是： 



这两个例子是下列一类特姝矩阵的代表，它们的主对角线上前 
r 个元素是正数心，…^而其余元素均为零. 用之表 示这个矩阵， 
它的广义逆可如上例那样算出来： 
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广\ ， 

^■=1 '、、 I 而且 s : 

1 ; 

若 2 ■是 mxn 矩阵，则2 + 是》乂咐矩阵，容易看出，^： + 的秩等于 Z 
的秩，等于 r , 而且5+的广义逆是之：(^ + ) + = 

这类简单的矩阵由于矩阵 A 的一种新的分解方法而比它乍宥起 
来有价值得多.这种分解叫做奇异值分解：它还远未被人们所熟 
知. 

3 R 任何一个 mx «矩阵可被分解为 AsChTQL 其中是 
mxm 正交矩阵，是一个„ x „正交矩阵，而之是上述的特殊对 
条矩阵。 

数七叫 做 A 的奇 异值。 这个分解直接导出 A 的广义逆的一个明 
确的公式，一个到现在我们还缺乏的公式„在这种特殊情况下（但 
不是在一般情况下，见下面（印） ） 我们可以分别对这三个因子求 
"广义 逆”，并按相反的顺序乘起来：因为正交矩阵的逆矩阵是它 
的转置阵，这个公式成为 

A *=0,2 + Q \ (52) 

这个公式可直接由最小二乘原理来证 liTL 由 3 N 可知，乘以一 
个正交矩阵0〖不会改变向量的长度，所以被极小化的误差是 
li Ax-b | 卜 || Q i SQ\x-b\\ = || SQlx~Q lb \\ 

(53) 

引入新的未知数 y = 它与 x 冇相同的长度。然后我们 

要把 fl I ： y - Qlbi 极化，从而最佳解 7-- —所有极小化的向量 
中最短个 一- v + QTb c 于是 

x = Qly -^ Q ， S + Q, r b 或4 + = 仏之 + Q /. (54) 


. 在实际 il 笄則 t 把很小仙挑出来弁令它等于枣层必须的 6 否则，舍入误差和 
经验汉龙可能很容易给山一个值例如心=从而 / j r -i = I0 e ， 这将会位广义逆矩阵过 
大。这反映了秩及广义逆本身极硐不拉定性„ 
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竒姑值分解的证明需要第五章的主要结果：对于一个如 A 这 
样的对称矩阵，存在一个标准正交的’‘特征向量”集^，…， 

( 它组成的列向 S 组） ； 

A T AXi~AiX t 且 xp(i= 1 和 JCj. r ； f;= 0 对/=; 

(55a) 

取与 A 的内积，我们发现七 >0 

xjA T Ax i ~/\. i xfx i 或 K Ax; K a = (55b) 

设… 1 均为正数，其余的 r 个 A;e, ■和上是零，对这些正数， 
我们令 Mi =vX 且令 h = 由（ 55 0,这些％是单位向量，而 


且又由 （55a) 它们是正交的： 


y T > yr - 


x^A^AXj 


^iX r f x t 
雌 i 


当卜 i 


于是我们有 r 个正交的单位向量，且由 Gram-Schruidt 正交化过 


程，它们用 •以扩 充成一个完整的标准已交基… ,y f , ^——它 
组成0,的列向量组。则 (?IA0 S 的元素是数当 i > r 时此数 
为零 （ 因为0 > D 除这些元素以外，他们等于 y T ^y ir 它当 
/与 i 时是零，当/ = f 时为换句话说，恰是主对角线 
元素为 A 的特殊矩阵之，因此 A =(^201 而转置矩阵 A 和&恰 
把 A 的列向量空间转为横排的行空间，从而使 A 变成对角矩阵之， 

例3 如果 A 是一个列向量1 1 j , 则是一个】 XI 矩阵 
〔25〕，它的单位特征向量恰是尤=〔\〕。这就是其次，我们 


发现』=25, 
交，所以 



1 5 


, Qi 的另一列必须与 yi 正 


Qi T AQ t 


J_ ± 
T 5 




_ 3 ' 
,4 , 


M ：]- 
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它具有我们所希望的特殊对角形状。列向量 Z 的广义逆是行向 U 
。],故最^ 得知 * A ^ Q ^ + Of = [-|. ，^]， 
注, SA + A °= J ; 这是一个秩 f = « ( = 1 ) 的例子，所匕广/逆是 
一个特别的左逆阵。 

当然，奇异值分解要求我们找到正交矩阵仏和❶^,而通过初 
等行变换1般是不可能做到这一点的。因此，试图由髙斯因子 L 和 
U 去计算7更接近于开头几章的思路。其结果很燉 A — 1 的分解 CT 1 
L _、 我们将给一个完整的证明 （ 因为在其它地方找不到它） 一一 
当然允许省略\ 

关键在于丢掉 C ； 的零行这种想法，这种想法在102页中已介绍 
过了。如果 A 的秩为 >■, 那么将有 m _ r 个这样的零行，与此同 
时，我们也要丢掉 L 的后 （ f n_r ) 个列 （ 如^在消去过程中某些 
行霜要交换的话，就去掉的这些列）。 U 就是由17的剩下的 
!>行组成的 r X II 矩阵，而 IT 则盈由 L 的剩下的(■列组成的 fnx r 
矩阵 t 

例4 (秩 ) 



L 的最后—它仅仅乘以 C ； 的最 后一行 一被去掉而不改变乘 
积： U 7^： U 。 重要的事 实是： 

(!) 石■是—个秩^的 r X « 矩阵， 它与 [7 有相同的行空间，因 
为只是零2被去掉了，而且与 A 也冇相同的行空间， 

(2 )1 避一个秩也为 r 的 m X r 矩阵； L 楚可逆的（所以 P 也可 
逆），^此它的前 r 列必定是无 关的。 正如我们在 §2.6 中所注意 
到的， T 与 A 被相同的间. 

籍助丁•分解式八 = ru ,我们可以用一种完全淸楚的方式最终 

• 找们并没有说这个新的更“直接 w 的公式 we ) 在数值计算上比0»2)式 ; A Gr -^- 
Schmidt 坏法更好，大骶情况洽恰相反 a 
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构造出 A' 米： 

任何 mx ft 矩阵的广义逆 矩阵# __ 

(56) 

力了证明公式 （56) 的正确性，我们必须賒证 A +& 是最小二乘问题 
的最佳解。正如前面所说7是由两个要求所确定的—— 
它位于 A 的行空间之中.而且 A V 等丁 - b 在列空间土的翌影;一一 , 
因此证明的关键在于把这些要求与上面列举的关于石■和 r 的两个性 
质相配合. _ 

(i') 当我们按 （56) 式计釘身3时，它将是在公式的左端） 
和某个复杂的向量 y 的乘积。换句话说，它将 是石 5 '的列向 t 的一 
个组合.而^^的列向量就是 U 的行向量，所以一定在玎的行 
空间之中，而它也是 A 的行空间，这样，第一个要求就满 足了。 
(2。用 A 来乘 H &们：5^ 得到_ — 

AA + f >=( Tu ) CL / r ( uu r )- 1 ( L I T)- T T T b ) - 
= T ( T T T)^ i Z T b (67) 

但是 r( r^T : r 1 ：^ 恰是到 r 的列空间上的射影，这个列空间也 
是 A 的列空间，所以（5 7 )就是向向量 A + & 满足最隹解的 
两个要求，从而（5 6 )式是正 确的。 

嫌习 3.4.1 求 rnxn 的零矩阵 A ==0 的广义逆.并解释你的 

理由， _- 

练习 3.4. 2对一个秩为1的矩阵，分解式 A = iT 5 "iJA = w〆 
是一致的，两者都是一个列向量和一个行向量的乘积。对于 

— A= [:::i 和 & 七 ] — 

求 A + 和'把&射影到列空间上去，并验证 Al = P 。 

嫌习 3.4. 3若 A 有正变的单位列向量组，那么它的广义逆是 
什么？ 

练习 3.4. 4若 AA r 可逆，则八 + =4 1 '(^"广 1 ,且7 = 乂 + &， 
(a ) 验证 b 
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( b ) 对 A =〔1 I 〕 求《十"=3的最佳解。 

练习 3.4. 5 Penrose 当初楚用完全不同的方式来定义的^ 
他证明了对讧何的 A 存在旦仅存在一个矩阵 A + 满足下列四个条件， 
( ii ) A + AA + = A + 

(； ii )( AA + ) T = AA + ( iv )( A + A) T = AM 

我们则 （ 对同一个 A + ) 采用一个更几何，更; Ti 观的定义。但它的 
代数的定义使得验证所得的矩阵满足广义逆要求变得简单丁。 

O ) 证明：若 A 是一个射影矩阵 （ 八 2 =為且^1 = ^),则取 
= A 就满足于是它的广义逆就是 A 本身。苋例 1和 
练习 3.4.1. ' 

(b >证明： U + r 满足■的广义逆的要求，所以 （AO + = ( A + > 
(推 论： 若 A 对称，则 A + 也是对称的 .） 

(c ) 证明：就如我们早先对2所验证的及对每个 A 所阐述的陬 
样， A + 的广义逆就是 A « 

§ 3.5 加权最小二乘问题 

我们哲先回到最简单的最小二乘问题，用两次观测量 x = &1 和 
来估算一个病人的体重。除非这两个观测 蹵是相 同的，否则 
我们将面对 着一个 由两个方程 m 成的一元不相容方程组： 



到目前为止，我们一直把两次观测值视为同芝可靠的，并去# 
求使得 i r + o ~ b s 尸达到极小的值 T : 


这个最佳的 v 是观测值的平均值， 

现在假设这两次现涵值不能同等*持，值》=匕可能是从比 
更精确的刻度得到的，或者在统计上来源于一个大样本^虽 
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然如此，但如果有某些信息包含在第二个观测值中，我们就不能 2 
全相位 X =&,. —个最简#的折衷方案是在两个观测值上附以不同 
的权 W ?, 并选取 7 使得加权平 方和： 

=w (x — b ,) 2 + wl(x ~ b z ) i O ' (58) 

达到极小。若 w ) w s , 则较多的份量附在第一个观测值上，而且 
极小化过程中使 Oc—tr 变小就更困难一些.我们容易 算出： 

^ -= 2 ( w 1 *( x - fr J ) + wK *- b i )] 


并令等 T 零而得出新的值 S ：: 

— • w 1 !1 a L + w；bt 

,,= ― 1^- Mvl - 


(59) 


g Wl = Wl=s 1代入上式，得出匕和匕的平均值， i ： 是数据的加权 
平均值，这个平均值距心比 距匕更 近一些 . 

有两种方法来讨论加权最小二乘问题。一个是算出由 （5 S ) 中 
所弓 I 出的通常最小二乘问题。它有如下方程 
rw.TCJc) f Wl bi ] 

^ j 且 E ^ Cw ^ i - w ,^,) 4 

Lw £ J Lw 2 b 2 i 

+ (w z x—wtb ：i ') i 

这恰与原来问题的加权 E 2 是相同的。用这种方法来讨论，加权把 
原来的方程组变成一个新的方程组其中 

_ Hi] ， [: 乂 1 

加权的 是价 的通常最少二乘解， 

这种讨论问题的方法有一个明显但又重要的推论：如果方程组 
被变成那么我们必须期望最小二乘解也改变 。我 们强调 
指出：若 A 是可逆的，这样一个改变就就不可能发 生:在 前一情形中， 
i 0 在后一情形中， 

这些精确解是相同的，反迓來，在®小二乘问题中1=力 + &和 V * 
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- =(VVM) + VKb 是不相 同的。 这并没有什么奇怪的，但它告诉我们一 
-个令人不快的结论： 

3T 萊积的逆的法则，对广义逆来说不成 
立：一般说来 

( WA ) + # A + W * (60) 

证： 如栗这个法则对比特定的矩陴它避可逆的，所以它的 
逆与广义逆是相@的）有效，于是加权的5应是 

'7 K =(WA) + Wb=A + W- 1 Wb^A + b =7 
但是：与7不相等，所以此法则不成立。 

刚才我们已讲了有两种讨论加权最小二乘问题的方法„另一羊产 
方法是否把 Ac = b 变为而且改变长度的定义，保留原 
来的方程 . 在加权问题中的自然长度是平方的加 权和： 

向量 D=l j 有长度 II II » = + 士 （61> 

利用这种改变，我们通常令误差 || •达到极小 # 因为£ 2 
恰是平方加权和，竺的极小 g 将在处 出现。 用长度的新定义， 
距 b 的最近点将由 AT 移到用改变了的坐标轴可以最好地解释 
这一点（图 3.8 把 


bi+bt. 



田 3 .B 长度的改交和歹的变化 
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改变为 


w/fct-h v^ 2 b % 3 

""" w, _i +(4 


射影将向下移动。 

因为加权平均值小于|~，它距第一个测量值比距测量值 y = 
1更近《通过把一个坐标轴比另一个拉长了，我们就陚予它更多的 
价值， 


权，长度和内积 


在下面几段里，我们要说明上面例子在所有的加权最小二乘问 
题中是非常典型的.同时，我们将找到两个向量所有可能的内积和 
所有相应的长度定义。幸运的是，这个非常重大的推 r 是很容易完 
成的. 

我们开始讨论一个最小二乘问题 Ax = b „ 若 m 个测量值不能冏 
等看待，于是不同的权 w w …， w H 被附在 m 个方程中*这就推广 
了我们原来的例子，但还有其他的更精细的推广.除了它们不相问 
的可信度外，这些观测可以是不独立的。在这种情形中，我们也引 
入一个系数它是衡量测量值 i 与测量值/的联结程度.于是 

Ax=b 变为 WAx—Wb ( 62 ) 

数货*，…， W ■位 于祝的 主对角线上，联结系数如果冇的话则是非 
对角线元素. 

注：在统 i 十中.这大致相应于引入回归系数，或法化之后引入 
相关系数，我们的加权矩阵 W 和统计中的协方阵 V 之间的确切关系 
在这一章的最后一段给出. 

为解这个新的问题我们只需要回过头来考虑原始 
问题的正规方程并作适当的改变一一 A 被呢 A 代替， 
而&被代替， 

3 U 若4有无关的列向量组（它的秩力？ 1) 且 W 是可逆的，则 
的最小二乘解可 g 加权正规方程， 

(A^W^WA^-^A^wrWb (G3) 
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所确 定 . 若我们 i 己阼 r W 为 H* f 则 1 = (A r HAy' A 7 Hb. 

这就给出了解加权苡小二乘问题的第一种方法，现在我们较 W 
第二种方 itv ■读者还记得，在丌始的 2X1 矩阵的例子中，关键的想 
法是改变长度的定义，于是我们耍对更一般的加权矩阵恰当地做同 

3V 若砰是一个可逆矩阵，可以按下列法则定义一个新的长度 
和内积： x 的新长度等于的旧长度，而 x 和 y 的新内积等于呀工和 
Wy 的旧内积： 

I! ^ II .= !i ^ II 

且 ( x , y)„= ( WxyiWy ^^ x ^ W^Wy (64) 

姣度与内积按通常的法则联系 起来： 

11^11 / =C^, x )„>0 对所有非審向 (65> 

这个定义实际上描述了所有可能的内积，换句话说，所有可能 
的造一个具有如下性质的函数的方法：它线性依赖和 y, 而且当 
取正值„关于汗是可逆的要求是保证正定性的条件，杏则 
在它的抜中会有一个菲零向量X ,这个向量的长度将是II X |U = 
II ^ II = II 0 || =0,而我们不能容许冇松度为零的非零向量 a 

现在回过来讨论具有加权矩阵 W 的最小二乘问题 A5f=b„ 我们 
可以用新的长度和内积来茧新发现几何的模式 5 使误差 A;c=b 达到 
最小，即的最佳选择仍是 A 的列空间中距 b 最近的点。但是3我 
们使 I! Ax-b|U= || WAx-Wb || 极小化时，■‘最 近，’ 这个词现在 
必须用新的长度来解释。这个点 p (或更确切地说是点因为它 
依赖丁•研）仍是 b 在列空间的射影，而且误差向量 b_p„ 与此空间垂 
JY^ 但是还衧些变化：现在，垂直 S 味着新内积为零，于是点 = 
A 由下列性质确定： & — P„ 与列空间中每一个向量次^ 垂直： 

(A^) t iv t w (&-A^" 1 .)= 0 对所有的 y • 

从而，与，相乘的向跫必定 为零： , 

— ^__ A T W T W(b- A ^„)= 0 ' 

.j£pf/f = H 7 !r^cjrTtriii) 就是第六草所说的 e ；； ! 矩阵， 

. 162 - 



或 A T W T WAx K = A T W T Wb ； 

这样一来，我们便重新得出加权正规方程 （ 63). 

我们将怀着几分悲观的愦绪来试图画一个图 （ 图 3.9), 它解释 
了这一类新的垂直性 4 或者如图 3. 8那样，这个空间相对于 W 可以 
拉长，或者可以保留通常的轴而改变角度，使之看起来不象直角. 



按此图进行的计算如下：给定 

CI:r4:T] 

加权正规方程是 


(WA) T WA x'^iWAyWb 



作为关于最小二乘问题的最后一个注记，我们希望把我们所用 
方法与统计应用中惯用的下列方法联系起来 ； m 个方程&=1?的误 
差假设言乎^值零，而且有协方差矩阵则最佳估计 r 是正规方 

程的解， 而这些方程只要令 H = W r W 取为 V 
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的逆就与 (63) 相罔。 

练习5.丨令 W 

-的 两倍： 识 1 =2且奸％=1, 

练习 3.5. 2对同上的什么向量与& 


a 


它给 AT = I 的权是给 JC =4 的权 


=[;] 


是祝-垂直的？ b 


本身的加权长度 lib II „是什么？ 

练习 3. 5,3对你=[ 2 : j 測量值和 x =0 的最佳乎均值 
二是多少？ 

练习 3.5. 4什么样的矩阵 W 造出的新长度和新内积与原有的 
， 相同？ - 


复习题 

3.1 怎样用因子矩阵^^, 5 r ， 和 C 1 ■來表示 （^ LBO r ? 
3.2 用的形式表示秩—矩阵 



并采用同一形式表芾 jfu 

3.3 a =(2, -2 ( 1) 和 fc =( l ， 2， 2) 之间夹角是什么？ 

3.4 5 = ( l t 2, 2) 到 a = (2，-2， 1) 上的射髟/>是什么？ 

3.5 求向置 （3,4) 与 <4.3) 间夹角的余弦？ 

3.6 6= (1.1， I )到由 < UO ,0) 和（1,1,0> 张成的平面上的射影是什么了 

3.7 方裎组 u = 0, v = 2 , u + u = 4 的正规方裎是什么？ 了和是什么？ 
3.8 造出由 （1, 1, 1) 和 （0, 1, 3) 张成的子空间中的射髟矩阵 
3.9 哪一条直线给出下列数据的最佳拟合，1 = 0时7 = 0和1 — 3时7 = 

,12? 

3.10 哪一条直线 : v = £>/是下列两点的最隹拟 合1 ;*：1时7 = 1和/=2吋 


- 164 - 




3.1】 什么样的常值函数在最小二乘意义 F 在区间上最接近 y 

= T 4 

3.12 如采 Q 是正交的 r 那么 Q * 也是吗？ 

3.13 找出所有这样的 3 X 3 正交矩阵：它的元素为零和1。 

3 .H 喊去0 1 = [;]的 # 少倍使所得结果与 31 正交 ？ 作— 

个图。 

3.15 把前一练习中造出的向里单位化，从而完成 Gram-Schmidt 正交: 
化过裎。把 

叫" 

L 1 0 

分钶为 Oi ?» 

rcostf sine -i 

3-16 把 I I 分解为 Qif , 注意第一列已 是一个 单位向 fi , 

L sin 0 0 J 

3,17 求出 d = CS (O 的广 义逆， 

3.】3 对于加权矩阵 

^ f 21 

u o 

C 0 ? 1) 与 （1, 0) 的内积是什么 

3 W 9 如果在一个正交矩阵中每个元素或是+，或是 - j , 这个矩阵 



， H 



第四章行列式 

§4.1 引 言 

行列式该怎么 yt 呢？ 这不是容易决定的事。在本世纪初的时候， 
行列式还被认为比产生它的矩阵要重要得多 u T . Mui ；•写了一部"行 
列式史"，整整的四卷„但数学的发展方向不楚固定不变的，现在 
行列式离开线性代数的中心相当遥远。行列式是从矩阵得来的一个 
数，这一点是不变的„ 

有一种看法认为行列式为 A — 1 等提 供了一 神显式"公式"，一 
种闭封形式的紧凑而确定的表达式 f 这种公式并不改变我们计算 
的方式„甚至行列式本身也是用消去法进行计算的，事 
实上，可以认为消去法是把给定矩阵的元素代进我们所说公式去的 
最有效的方法，这一般公式的作用是告诉我们对矩阵>1的 V 个 
元素是怎样的一种依赖关系， A 的元素变化时 A — 1 怎样变化. 

下面我列举行列式的主要应用. 

O ) 行列式给出了一种判别方法，判别矩阵是否可逆 a 4的 f 7' 
列式为零，则 A 是奇 异的； detA ^ O , 则 Z 可逆。这一判别法的最 
重要的应用对象，是形如士 一 W 的矩阵.本书中这一章主要是为讨 
论形如 A — W 的矩阵而写.矩阵 A —； U 是从 Z 的每一个主对芦元素中 
都减去参数 A . 问题就是求出使>4 一 AJ 为奇异的 A (特 征值 # 该判 
别法就是看矩阵的行列式是否为零 • 我们将看到 detM - Al ) 是2的《 
次多项式.视 fc 重根为 fc 个根，则该多项式有《个根 a 也即4-打有^个 
特征根/这事实是从行列式公式得到的，不是从计算得到 

( 2 ) 假定 s 〖阵 a 9行是《维空间中平行六面体 f * 的边的 C 


* 也町 以偎定 d 的列是/!维空间中一平 R 六 S 体的 边的® 标，但邳龙沣枳相同的3 
外一个平行六而沐， 
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a 4.1 a 的行所形成的平行六面沐 

图4.1)，则 A 的行列式等于 P 的体积.这不大容易想象，实际上， 
p 常常是多重积分中无穷小体积元素.最简单的体积元素是 ni /(^ 
y, Z ) d « 中的小立方体心假定为便于积分做变换 3 C = 
cosy f , y ^ xsiny , z = z f , 那么类似于单变量的微分办变为" 
{dx/dx> )dx\ 这里体积元素 dxdydz 变为 Jd〆tiy dz /. J 相当于单焚 
情况下的变换因子,称它为雅可比 （ Jacobi ) 行列式 
j dx/dx f dx/dy f dx/dy f cosy ’一 X’ sin〆 o j 

J = dy/dx f 5y/dy f dy/3y r — sin〆 x'cos〆0 | 

! dz/dx r 5z/5y f Qz/dz f 0 0 1 | 

该行列式所表示的体积为 。 它是极坐标元素助或柱坐标元 
索咖刖 dz 中的 r . 这个》 ■就是 我们的小平行六面体（它的面是曲面， 
但棱变得越短.面就越接近于乎面）„ 

( 3 ) 行列式给出关宇主元素的一个显式公式.理论上，由它我 
们坷以知道主元素中是否冇零，因而也就知道是杏需要进行交换. 
.更 m 要的是，由公式 

detA = ± ( 主元崇的积） 

我们知道，消去法不改变主元素乘积的绝对值.若干年以前人们曾 
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认为用行交换换走很小的主元素是徒劳的，认为换走一个还会有另 
―个 出现。 但实践中通常的情况是，不换走一个异常小的主元素， 
根快就会有一个异常大的主元素 出现； 这维持了主元素乘积的绝对 
值为常数 ，'却 使得得到的数值解也是无用》 

( 4 )彳了列式可以用来量度4对&的每一个元素的依赖程度， 
实验中一个参数的改变，或一个观测数据被修正，这改正或修正对 
的"影晌系数”都是两个行列式的比， 

戈于行列式还有一个问题，这就是 ： 不仅确定其重要性难，确 
定其在线性代数理论中的地位难，而且下定义也难.显然， dctA 
不是 n 2 个变量的简单函数，否则 A — 1 将比实际上容易得多. §4.3 
铪出的显式公式耑作相211多的解释.它与逆矩阵的关系远非显 
然, 


对子行列式来说， 简 单的車物不是那些把它表示出来的显式公 
式，而是行列式自身所具有的性质. 这就吿诉我们应从那里开始 

讲.可以用 （ 我们将用）行列式自身的三条基本性质来定义行列 
式.接下去就是如何系统地应用这些性质来简化公式，来计算行列 
-式的值*这又使我们回到高斯淸去法，回到主元素的乘积，更困难 
的理论问题是证明 ： 不管按怎样的顺序来使用这些性质，结果都是 
—样的。也即说到的这些定义性质是相 容的。 

下一节列举行列式的性质及其最重要的推论 * § 4.3 给出行 
列式的若干公式，其中一个是含有《!项的显式公式另一个是归 
纳公式，第三个是包含主元素的公式 t 大矩阵的行列式实际由主元 
素算出。在 §4. 4 中行列式先被用于求 A — 1 。 再被用于求得解 ; C = 
称用行列式求出解的规则为克莱姆规则，最后部分 
讲了排列，是伤为机动的.在那里我们证明了行列式定义性质的相 
容性.从而消除了定义中的不明确性. 
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§4.2 行列式的性质 

性质的条数很多，幸而每条都易于理解，易于用 2 X 2 矩阵作例 
子解释明白 „ 

n i ° b I 

dct \ = ad—bc 

ic dJ \ c d \ 

具有我们要讲的每一条性质，我们将逐一进行验证（矩阵乂的行列 
式可以记为 detA , 也可以记为)，第四条以后的各条都是前三 
条的推论，我们将指出怎样由前三条推出. 

1. 行列式是第一行的线性 函数。 也即，如果 A , B , C 三个矩 
阵第一行以外的各行都相等， A 的第一 行是及 C 第一行的组合，则 
d e U 是 detB 和 detC 的同样的组合。线性组合包含两点，一是数 
乘，一是向童加法 f 也即它等价于两条 规则： 

! a + a , b + b f 1 \ a b \ \ a f t > , I 

lc d 卜 + 〜 (fc+by H“H c d L 

}ta fb 1 I « f? ! 

\ \=tad — tbc ^ ( 1 

I c d I 1 c d !■ 

我们强调指出，线性组合是针对一行来说的，不是针对整个矩阵， 
即完全不同于 d e t ( B + C )= detB + 心 该等式不成立 B 

2 . 两行交换，则行列式变号 

\ c d ! j a D | 

I = cb -™ ad = _ I 

io b I led : 

由此我们得到性质 i 对毎一行都成立.任何一行都可以换到第一行 
上去，然后再换回去。从而，性质1坷以改成：行列式分别是每一 
行的线性函数 . 、 

3. 单位矩阵的行列式是 1 « 
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这个条件使行列式的值正 规化； 性质〗和2令行列式可能的取值成 
为—个维空间' 而这条性跋剡从中选出一个怍为行列式的值. 

4. A 的两行相等，则 d e tA =0„ 

' a b 

I . = ab — ba= 0 . 

I a b ： 

这可由性质 2 描出，一方面，两行交换，行列式变号，两行相等也 
不例外.另方面，相等的两行交换，行列式不变。变了号，其值不 
变的数只有零，也即 detA =0。 

5. 从一行减去另 一行的 倍数，行列式不变„ 

：! - 

由性质4知这里的第二项 


一种证明方法是，将另外一行加到为零的行上去，由性质5知这不 
改变行列式，但新得到的行列式有两行相同，于是由性质4知 d e tA 
= 0. 

7 . 如果 A 是三角矩阵，则 detA 等亍主对角线上元素的乘积 
…特别的，如果主对角线上的元素都是1 ,则 d e tA = 

1 0 b ! 

i =od 

1 o d I 
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i—Ic b — ld 


«质1 知左端-等于广 b |-11 c b I 


为零. 

6. 如果•有一行为零，则 detA = (^ 
] 0 0 ' 

_ , 1 = ° ^ 



证明： 假定主对角元素都不为孓。那么我们可以通过基本运算捫去 
所有的非主对角元素，将 A 化为 

广1 1 

°2 Z 

°= \ • 
a ,. J 

(如果只是下三角矩阵，那么所进行的运算就是逋常的消 去法； 女 T 
果是上三角矩阵 f 则改为从主对角元上面的各行中减去主对角它所 
在行的倍数） • 由性质5知 detD, detA 相等.为求 detD , 我们重 
复利用性质1 ,并提出所有的 a. ,则剩下的是一个单位矩阵，它的 
行列式是已知的 

aetD^ai iQt^-a^detl—ai 

三角矩阵么的任何一个主对角元素为零，则这 A 就是奇异的， 

下一条性质吿诉我们，它的行列式为零， 

8. 如果力是奇异的，则 detA=0; 如果 A 是非奇异的，螂 
detA^O. 也即，当且仅当 ad_bc=0 时 

[；：] 

才是奇异的.如果 A 是奇异的，那么通过基本运算得到的是有一行全 
为零的由5和6知 d e t4=dett/ = 0 T 如果 A 是非奇异的，那么通 
过基本运算和行交换得到的上三角阵 [7, 其主对角线元素全都不为 
零. 这里主对角线元素就是主元素 A , 由性质7知 detA = 

土 detUstdidl.-d,. 由性质 2 知，正负号决定于行交换次数为 
偶数或奇数. 

9. 对任何两个 nxn 矩阵，积的行列式都等于行列式的积： 
de MB= (de t^4) (de tB) a 

j o b j j e f j I ae+bg af+bh I 

I c d I j « h I I ce+dg c } + dh [. 
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这相，于 + fi 等式 

( ad ~ be )( eh ~ fg ) = ( ae + f ) g ) ( c / + dft ) — （ a / + £> ft ) ( ce + dg ) 

特别地，如果 A 可逆，则 detAdet -4— 1 = fletA .4- 1 = detT = l ， 或 
detA _1 = l / detA 0 

前几条性质都比这一条显然。对这条性质我们给出两种证法。 
假定两种证法中的 A 和 fi 都非奇异， A 或 B 奇异，则 AB 奇异。由8知 
此 时方程 d e tAS = d e tAdetB , 成为0=0,性质成立。 

(i ) 我们考虑量 rf ( A ) = detASAl e tB , 证明它 A 钌性质 
诨为这三条性质定义行列式，40)鱿应该等于(1^>1„例如，如果 
A 是单位矩阵，则这样 d ( A ) 就满足性质夂 
如果 A 的两行交换，则 ASS 相应的两行也交换， d 的符号也按性质 
2改变。 A 的第一行的线性®合对应得出第一行同样的线性组 
合.的行列式除以量心"所得行列式的性质1就对应于比 d ( A > 
的性质1 . 这样就得到 d ( A ) 等于 A 的行列式.从而 detAB / d e tB = 
detA , 

( ii ) 第二个证法.先.为对角矩阵 D , 那么利用性质1 , 
提出所有的对角元素我们得到 d C tDB = d e tDdetB , 对于一般 
矩阵 A 我们用高 斯〜约 当法化 A 为 D ( 先用正向消去化 A 为 U , 再用 
反向消去化 U 为 O ). 萵斯-约$法至多会因为行交换而使行列式反 
号，但不改变行列式的绝对值。同样的步骤也化 AB 为 UB , 对行列 
式 的作用也一样 . 但对 DB 我们已证明了性质9成立。 ' 

10. 矩阵转置其行列式不变，即 
! o fc i | a c | 

i c d i . b d : 

跟性质 9 的证明一样，先考虑奇异情况，当 H M 当为奇异的 
时候 A i 为奇异的，此时我们 * 0=0。当 A 非奇畀，我们冇 PA = 
LDU ' :、 i •该等式应用性质9,得 

.IetPdctA=cJetLdetDdctU. ( I ) 

A ^ PA - LDUkm , 得 A T P r =- C 7 r D r L r 对该等式应用性质9 ,從 



detA r detP r = dett/ T detD r (UtL r . (2 ) 

式 （1), (2 ) 都可以化简 „ I £/, W 都是对角元素为 1 的 2 
角阵。由性质7知，它们的行列式都为 t »又对角矩阵等于其转 
置， D ^ D \ (1), (2>中>1, A 1 ■之外，要考虑的就只剩下排列矩 
阵广 P T T . 

P 是经过丁行交换的单位矩阵，因而它的行列式为1或 _1 .对 
任何一个排列矩阵 P, 我们都冇 PP*" = i(P 与 f 相乘时， P 第一行 
的】与■第一列的1相乘，其它各列的1都与第一行的零相乘，其 
它行类似）_因而 detPdetP r = deU — 1。可见 P 与 P 51 的行列式必定 
词为1 或一 1. 

利用上述结果我们先得到 （ 1 ), ( 2 ) 右端相等，进一步就得到 
detA = deM\ 这一事实使得我们讲过的性质也都适用于矩阵的 
列，这就把性质的条数增加了一倍：矩阵两列交换，其行列式变 
号：矩阵两列相等 （ 或一列为零），其行列式为零；行列式线性地 
依赖于它的各列*这摆性质的证明，都只需先将矩阵转置，再对它 
的行进行证明。 

行列式的性质我们就讲到这后面我们给出行列式的公式和 
公式的应用 • 

练习 4, 2.1 问 det(24), det(-A), de t(A 2 ) 跟 deM 有着怎 
样的 关系？ 

* 习 4.2.2 试证第 f 行与第/行交换，可用下述方式完成，并 
就 2 X 2 矩阵进行 验证： 先把第 i 行加到第 i 行上去，再从第 i 行减去新 
的第;+行，再钯新的第 i 行加到第7•行上去，最后用 ~1 乘第 i 行，哪几 
条性质可用来产生性质 2 


练习 4.2. 3 应用行运算产生 U 的方法来计算 
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注很夯 读荇可 能知逍 3 X 3 行列式的计葬公式„它包含6项，项 
數 e 为阶数3的两倍，见下一节的方程 （ 5 乂 人们13然希望对4 X 4 
行列式也有类似的公式，公式是有的，但它包含的项数不是4的两 
倍8,而是4! =24。这种公式的项数太多，所以我们要介绍行运 
算和三角矩阵17, 

练习4 . 2 . 4 称满足条件 4 1 = —X 的矩阵为斜对称矩阵 s 



就是一个斜对称矩阵。试用比较 detA 1 " 和 d e t (_4) 的方法证明题_ 
给 矩阵的 行列式 detA 为零，并证明 2 X 2 斜对称矩阵的行列式可以 
不为零.再怔明奇数阶斜对称矩阵的行列式必为零， 

练习 4.2*5 试计算下列矩阵的行列式： 

( a ) 乘 积矩阵 


A+j 〔 2 - 1 2 〕* 

( iO 上三角矩阵 



0 0 0 2 


( O 下三角矩阵 
U ) 逆矩阵 crs 


(6)对[/施行行变换所得倒三角矩阵 • 


M 


0 0 0 2 
0 0 2 6 
0 12 2 
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练习 4.2.6 利用前面的性质找出另外一种证明性质 6 的方 
法. 

练习 4.2. 7 Q 为 IH 交矩阵，即 QTQci, 试证 detO 等于十 〗 或 
-1. 问 Q 的行（或列）构成哪一种平行六 面体？ 

练习4, 2. 8利用行运算验怔 4 X 4 范得蒙行列式 

X ? X ?, 






§4.3 行列式公式 


第一个公式前面出 现过： 

4 A 如果4非奇异，则4 = 厂 1 LDC ；, 且 
detA= detP'MetldetOdetC/ 

=± ( 主元素的积）. （ 3 ) 

符号 ( 或 P ) 的行列式，决定于行交换次数的奇偶，对式 
中的三角矩阵我们有 detL = ci e tt /= l , de tD=d l d z -' d. a 
在 2 X 2 情况下，其 LDC ； 分解为 


H ：：](； 

id — fcc , 如果第 一 ： 

:[::H::][ 


d J Ic/a 1 Jl 0 (ad—bc)/a)l 0 i } 
主元素的积力如果第一少进行了行交换，则 
0 

PA - 

0 ( cb — da)/c 

泚时主元的乘 积为一 detA . 

例 § 1 . S 中有限差分矩阵的分解式 A = LDU 为 


lo 

I! "1 


(4) 
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2 _ 


它的行列式是它的主元的乘积 
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——(*) ⑴…(乎 )=化 


讨一般矩阵 （ 一些特殊的矩阵除外），这是一种计算行列式的方 
法。 事实上，主元是原来分布在矩阵的 n 2 个元素上的信息的集中* 
.从理论的角度舂，信息集中到主元上有一种不利：每一个元素的变 
化对行列式的影响变得看不出来了。因而我们不满足于公式 （ 3 ), 
要求出一种直接使用V个元素的 公式. 《 = 2时，我们将证明这种公 


.式为 ad_bc 。 时，大家知道这秤公式为 

I Oi ! a 1 a ! 

i Qj i Qis , = 11(Ji 2 a 3 3 +a t ja 2 


+ 0| 


我们的要求是根据上节所讲性质卜 3 直接推出这呰公式 s 先照用于 
大矩阵的方法推导《=2和《 = 3时的公式.有了这两项推导，大矩阵 
行列式的推导也就不难掌握了. 

先把 A 的每一行都分解成坐标方向上的向 S。 《 = 2时这种分解 


为 


£ a b〕=〔a 0〕+〔0&〕. 〔cd〕=〔c 0〕+〔0d-〕. 
再分别对每一行应用线性性质，先对第一行，后对第二行，得 




b 

d 




0 

d 


0 

0 


b 

d 


(6 ) 


对于矩阵，每一行都可以分解成 n 个坐标方向上的向量，因而 
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类似丁 -(6) 的表达式中共存 n ' 项. 2 X 2 情况下共冇 V = 4 项.好在 
这/项中多数 （ 如 （6 ) 中的首末两项）都自行为零。两行坐标方向 
相同，则必一行为另一行的倍数，因而行列式 为零； 有一列全为零， 

M 行列式也为枣，例如 

卜 0 j 卜叫 

lc oh lo 

因而，我们只考虑不在同一坐标方向上的行，也即只考虑非零元素 
不共列的顼。设第一列的非零元在第 ct 列上，第二列的非零元在第 


疗列上，最后，第《行的非零元在第 v 列上。列号 a , …， v 互 
不相同，它们恰恰是数1, 2,…， u 的一个排列.在 3 X 3 情况下排 


列数为6 . 对应的项为 



3 X 3情况下的式 （6 ) 典有3 3 = 27项，但3! =6项以外的项，都因为 
有坐标方向相同的向 M 而为零 • 一般地，第一个列号《有《种取 
法，第二个列号有 n _ l 种取法.最后一个列号 P 就只有一种取 
法，因而 （7) 样公式中的项数为吹，也即 1,2, …, M 的排列数为 rt! 。 
(7) 中六项，其列巧的排列为 

(a,^,v) = {\ , 2 , 3 ), (2,3,1). (»,1 . 2 ), ( 1 , 3 , 2 ), 


(2,1,3), (3.2,1) 
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这正是 （1, 2, 3) 的排列的全体，共3! = 6个。其屮笫一个是恒等 
排列。 

现在 A 的行列式化成了六个简单得多的行列式之和 。 将提到 
行列式外而来，则 （7) 成为 



+ fli 3 3 I 1 l + Oi sQa i J 〗 I. ( 7 ’) 

! 1 f 111 

每一项都是遍布于每一行每一列的 《= 3 个元素的积.换句话说， 
经过每一行每一列画一条线，则这条线通过的元素就构成一项.如 
果所通过的列数为 （<r, 見…， <0., 则所对应的项就是积 
乘上排列矩阵 所有这些项的和就 是整个矩阵的 行列式.这 
和就是我们所求的显式公式 

detA= 芝 ( 8 ) 

对 rtXn 矩阵 .（ 8 ) 式遍取 （ 1，…, n ) 的《!个排列 cr=(a, …,V)中的 
每一个。每一个排列决定的一种取法，决定一个相应的排列矩阵 
厂中 1的位置同于所在项中^的位置。 

剩下的事情就是计算 P a 的行列式了，都可以经过行交换变 
为单位矩阵.行交換只改变行列式的符号，所以 detP a 必为+1或 
-1. _1 或+1决定于行交换次数的奇偶。 我们 考虑两个例子 
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, 对应的列排列为 （《， ^， 0 = (1. 3, 2 ) s 


,对应的列推列 a=(3， 1， 2). 

前一个—次行交换（二、三两行交换）就变为单位矩阵，因而 
detP^-U 后一个滞两次行交换（先一、二两行，再二、三两 
行）才变为单位矩阵，因而 detPg = (_l) 2 = l„ 这是（ 5 )中六个 
JU 负吁中的两个。 

方程 （ 8 ) 是行列式的一个显式公式 • 我们就 2 X 2的情形对它进 
H 验证.此时21 = 2 个排列为 CT=(1, 2 )和 <7 = ( 2 , 1)。因而 

。1 f o n 

det^=ai ja^det I j + a! /et [ 

= a L iQi z — a ； a ^2 i = ad 一 be * 

公式 （8) 并不简单，但由它可以验证行列 式性质 1-3. 性 M 
3, det 7 = 1最简单，〜的积，只在列号为 （ 1, ) 的排列 
时不为零，的积的系数在恒等排列时为 I ,这一点就是 I 
的验证。性质2留待下一节验证„这里我们最感兴趣的是性质1 , 
卯行列式线性地依赖 T 行 A l a li( a ,., 为考察这种依賴关 
系，我们考虑公式 （8) 中含 ail 的项，也即考虑列号 a 取 i , 其它列 
兮是 （ 2 ,…, H ) 的某个排列， = 的项。我们把所有这样 

的项集中到一起，记力 《 lt An , q ，的系数为 

A _ ,= 2 ( a =n-) defPi ⑴ 

a T 

类: 以地，也应乘上某个表迖式按展开，则公式 （8) 成 
为 
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detA = o! iA u +a t : A, 2 +■■， +a 1 ， A 1 ， （ 10) 

由 （10) 可见 detA 线性地依赖于笫一行的元素 an , …, A ,. 性质 
i 得到验证，不管系数是什么样的^ 

例在 3 X 3 情況下，心^按 £ ^的展开式为 

detA—a! 1 (a JJ .a S3 — 0 23 0»!) + 011 Coisa* i ~02 ta**) 

+ ai a 〈 a ! iflsi —aiiOs i ). 

三个括号中依次为“代数余子式” A 1If A ,,, A ls . 


detA 的代数余子式表达式 

我们的目的是求出行列式的另外一个公式.（〗0)就是我们所要 
的公式，剩下的唯一的一点就是把 At 具体算出来. 

我们知道， Au 不依赖于 a , y 所在的第1行和第/列.而且任何 
一行任何一列在任何一项里都不能出现两次，我们已把行列式分解 
成了如下形式的和 


1 Z 0 i 3 


flu 


a tz 

a 么 ] Qt. 2 0-t ^ 

= 

^2 1 a ; 

+ 

1 1 s 

! 1 a 3 i ^3 s ! 

O 3 2 O 3 3 1 


1 Gs 1 Oa 3 [ 


+ a% \ ait I 

Oa 1 ! I . 

这一 分解把 a 阶行列式化成了阶行列式的的和，上式右端出现 
的就是一些 2 X 2 子 矩阵。 子矩阵是原矩阵划掉第1行第；列的 
剩下部分，右端的每一项都是与的行列式的乘积加上正号 
或负 F 乂正负号在式中是交替出现的，代数佘子式的表达式为 

Ad = C — J ) ( II ) 

例如，上式第二个代数余子式 A 1 S 的具体表达式为 C — l) t + t 
detM ,,, 算出来为这一算法适用于任何阶数的 
方阵。由 O ) 知， An 是 A 占下筇比 A 低一阶的子阵的行 列式。 
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将任何一行，譬如笫 i 行与第1行交换，就可以证明对任何一 
I 都冇类似的表达式. 

4 B 么的行列式可以用其第 i 行的代数余子式展开式 

detA = aii - A,i + a t iA,i 十…十 a < a _ A ls (12) 

来计努\代数余子式 A ,/ 是子矩阵财;，'的行列式加上正兮或负号 

子矩阵是 A 划去第 i 行第/列剩下部分所成的矩阵。 

公式 （12) 将 detA 衷汞成了1阶行列式的组合，由此得知， 
我们可以用关于 n 的归纳法来定义行列式.对1 X 1矩阵，我们令 
< lc，iA = a lt , 由此利用公式（12\就可以依次地定义 2 X 2, 3 X 3, 
以至任何 nxra 矩阵的行列式.我们选择了用行列式的性质定义行列 
式，这种定义方法解释起来要简单得多，并由行列式的性质推导出 
通式公式 （ 8 ) 和归纳公式（! 2 ). 

最后，由 det 4 = d e tA f 我们得到一个推论：也可以按列的代数 
余子式将行列式展开 . 

detA = 2 a i ^ (13) 

证明方法是将 detA f 按第/彳^^代数余子式展开，得到的就是 detA 
的按第丨列的展开。 

例1 当一些行的元素几乎全都为零时，晟宜于使用按代数余 
子式展开的方法。例如，对三角矩阵 

，4 0 0 0 ) 

0 [ 


'■ 6 6 7 2 ; 

按第一行展开就只有一项1 w 因为0 . 




苒将 Ah 按第一行展开 > 得 


detA—4A! i —4 
进一步展开，得 



detA=4 - 3 - <-OdetC2) = -24. 

按最后一列的代数余子式展并，也得到同样的结果.本例告诉我 
们，任何一个三角矩阵的行列式都等于其对角元素的乘积， 

例2 我们再一次考虑有限差分矩阵 


2 — J 

—) 2 —J 

A = -I 2 • 

• * —] 

-1 2 

我们按第一行展开来计算第一行中只有两个元素 ail = 2和 
— 1不为零„因而 

detA=ai ] A | t +ai iAii + — l -0]. Ai ,=2 Ai t — A t t . 

Am 是 A 划去第一行和第一列所成，它跟 A 相同，只是阶数降为 
»_1。另一个代数余子式是由 A 划去第一行和第二列所成 
/ —1 — 1 \ 

A ll = (-0* + i det 2 * 

— 1 2 

我们按只有一个非零元素的第一列展开得 
「2 • 

A li = (-l) lt2 C-D^et - - -1 . 

—1 2 
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这又逛一个冇限差分矩阵， 只是阶 数降为 u _2. 矩阵的行列 

式为 Dp 我们得到递推关系式 

D^ — 2 A，i 1 — A | a — 2 D b _ ； 一 • 

«=1 和时，易于得到 

| 2 —J : 

D x = |2[ =2, D ^= — 3 , 

I _】 2 I 

利用递推关系式依次 得到％ = 203-2^=4, 5 . 一 般地， 

1 , 

D , = 2 I ^_: — 0,_*就成了 n + l =2( n ) — 〈 n — 1). 
这踉本 节开头算出的 detA 等于主元的乘积，等于^+1是一致的 4 

练习 4.3.1 试对矩阵 

.01 0 0 1 

i 1 0 1 0 

A= |o " f ! 

1 0 0 1 0 

求出公式 （&) 中唯一的非零项^即属于不同行不同列的四个菲零元 
素的乘积.并进一步根据排列的奇偶写出 d e tA s 

练习4, 3. 2试将上题行 列式 按第一行的代数余子式展开，从 
而化 detA 为 3 X 3 行列式 。 进一步再化为 2 X 2 行列式，最后算出 
detA ( 各步都要注意符号（一 I )…）。 

练习4, 3. 3试举出一个 4 X 4 矩阵，使得 

P 0 ] 

det I h^detAdetO —detBJetC. 

Lc D ) 

其屮 A , A C , D 是 2 X 2 子矩阵。 如果 S 或 C 为零 ，则等式成立 • 

练习4,3,4矩阵 
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的对角元素全为零，非对角元素企为 i 。试用行运算消元法，或用 
按第一行代数余子式展开法，或用别的方法计算的行列式.再 
求出阶数更低的同类型矩阵 A*, 的行列式。你能推测出 detA. 
等于什么吗？ 

练习 4. 3,5试求出 

1 2 3 

A= 0 4 0 

- 0 0 5 - 

的行列式和全部九个代数余子式。再用作为第 i 行第 f 列赴的 
元素构成矩阵I试验证 AB 等于单位矩乘上 A 的行列式.问 A- 1 等 
于什么？ 


§4.4 行列式的应用 

本节我们逐一讨论本章引言中所说的各项应用， 

1. am 的计算。这里我们要用到第 f 行的代数余子式 k 开 


a ； yA. t j. ( 14 ) 

还 要用到一行元素对另的代数余子式的 展开式 

0=2 a ^ A *i ■ ( 15 ) 

J-l 

(I 5 ) 式事 实上是 另外一 个矩阵 B 的行列式. 它是 A 去掉第 Ml 并 




将第 fc 行写在第 i 行上而 成》 这第 fc 行在在 B 屮出现 两次。 B 冇两 
行相等，因而 detB= 0 。 （ 15) 式正是 B 按第 i 行的代数余子式跋 
开 . 与 A 相比较，代数余子式是相同的，但笫 i 行元素 Ay 换成丁笫 
fc 行的叫 。 

根据（〗 4) 和 （ 15 ) 我们可以写出等式 


Gil Oi2 

… din - 


Aii 

A x i 


o% 1 a zt 

… o 2tt 


z 

A lt … 


Qwi o aZ 

o„ 


A! ， 

Aa, … 

A" ’ 


,detA 

O … 

O 

i 


I 

O 

detA … 

O 


H 

i 




i 

i o 

o 

1 

detA 



( 16 ) 


例称 （ 1S) 式左端第二个矩阵为转置伴随矩阵，记为 adjA . 在 
2X2 情况下 ， A = 的代数余子式 A,,- 

一 

d —M 


(A, t A ai l f 

adj A= - 

1^4 i a A J L - 

fa Mr 4 r ⑽一叱 0 ^ 

AadjA= 卜 \^(detA)h 

L c £j 儿 一 c ci L 0 ad — bcJ 


此时 （ 16 ) 式成为 


只要 d e tA 不为零，我们就可以用它除等式两边。从而得到 

^ 厂 1 (-> 


这矩阵 /T 1 的每一个元素都是 A 的一个代数佘子式除上 A 的行列 
式。由此我们得到结论，只要 detA— 0, A 就可逆。 （ 17) 就是 A_* 
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的梢确公式， 

2. 二 bffl ： 解。第二项应 m 是 = b 的解 

也即 Ax=& 的解是~个矩阵与一个向 量的积 除上数 detA, 这个解有 
—个著名的写法和一个专门的名称. 

4C Cramei ■规则。 A_ 1 & 的第/个分量为 


- 0 1 1 Gi z Qi % - 

^ = 其中 B 产 ； i :: 


(13) 


l a . i o . i ； b . a ., ' - 

成是 4 的第丨列换成向量 & 而成， 

怔明按第/列 （它为 向量& ) 的代数余子式将馬展开，由公式 


⑽得 


detB 产 &jAij+& 8 A 2 / + … +&»A,i ， 

它正是矩阵向量积 (adjA)b 的巣/列。除它以 <l e t 4, 所得就是 * 
的第/个分量。 

这样一来，*的每一个分量都是两个行列式的比，也都是一个 
«阶多项式除以另一个 n 阶多项式.这一事实有可能从 G aUSS 消去 
法推出，但没这样推过。 

例方程组 

Xi + 3 X S = 0 

2x ( + 4x 1 = 0 

的解为 



3. 平行六面体的体积行列式与体积之间的关系不易想象， 
我们先假定角都是直角，梭都互相垂直，也即先考虑长方体。长方 
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体的体枳等于棱的乘 SU 体积= i 山… J, 。 

我们要从行列式求出这一公式。前面讲过，平行六面体的棱可 
看作矩阵 A 的一行。在直角情况下，这些行是「；：相正交的，从而 

.flii … o lt : /dii 1 ■, I li 0 O' 


^ 0.1 … o „ \ a lm a „ 1 0 0 [J J 

H 是各行 f 也即各棱的长 „ 由于各行正交， 对 角线以外的元素都为 
零.取行列式，由性质9和10,得 

… l: = det(AA r ) = (detyO(aetA r ) = (cietA) a , 
两边开方就得到我们所要的结论： 行列式 等于体积„ detA 的符号 
指明棱所构成的坐标系为“右手系"，如 x - yz , 或为“左手 

系糖, 如 

如果平行六面体的面不是矩形，那么其体积将不再等于棱的 
积.在平面上（如图 4.2) 



平形四边形的体积 （ 实为面积）等于底 G ( oa 的长）乘高? t ( 沖的 
长），等于以 oti, pb 为棱的矩形的体积，等于 ca, P& 的坐标所成矩 
阵的行列式„要证明平行四边形的体积等于行列式，就只需证明 
oa, 沖所成行列式等于 oa , ob 所成行列式 s 事实上， pb = ob - op . 


■ 188 ■ 




叩 JEiob 在 oa 上的投影，是 oa 的倍数 a 由行列式的性质5 (从 A 的一 
行中减去另一厅的倍数， detA 不变）知 oa. pb( = ob—op ) 所成行 
列式等于 oo, ob 所成行列式„ 

将二维时的考虑方式应用到 n 维。 我们依次从第2 , 3，…, 《行 
减去它在前面各行所成空间上的投影 （ 以此形成相当于二维情形下 
的髙向量 P&)。 我们称这一过程为 Gram-Schmidt 过程.该过程 
最终所得是互相正交的行.这些正交的行所成行列式和所成体积都 
与原来的相等。而正交情况下体积等于行列式.故原来的一般平行 
六面体，其体积也等于行列式. 

我们已经建立了体积与行列式之间的关系.但再一次回到最简 
婧形，这不无帮助。我们知道 



这两个行列式表示图 4. 3上两个 ••平 行六面体的体积 （ 这里实际为 
面积）。左边的是正方形，面积为1 :右边的，底为1 ,高为1 , 
虽然由于系数 c, 上底 - 移位 "■ 不再为正方形，它的面积也是I。 



图夂3正方形和乎行 H 边行的面积 

4. 主元公式最后一项应用（在行列式的这种应用性很强的 
处理下）是零主元问题。我们将找到高斯消去法的进行可以不经过 
行交换的条件.关键的一点是前 fc 个主元完全由 A 左上角的子矩阵 
A* 决定，完全不受其余的行和列的影响， 

例 
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- a b e ， 

r° & e - 

1 

A ^ 

chi 

-+ o (ad—bc)/a (af~ec)/a 


1 g h i J 

e h i 


当然，第一个主元只依赖于第一行笫一列，它为1=1经过一步 
消去，显然可见第二个主元为 A=(M — &C)/ 心完生由1 6, c, d 
决定，不受 A 的其佘部分的影响 # 实际上，不只是主元， L, 认 U 
的左上角也都由 A 的相应的左上角所决定 


A = LDU- 


c/a 


(ad^bc)/a 


b/a 


我们看到，前两行前两列部分正是子阵 a 2 = [^ 的分解（前面 

公式 （4) 我们写出过这个分解 ） ，一般规则是 
40如果 A 被分解成 LDLT, 则其左上角满足 

A t = L t D t U k . (19) 

也即对毎一个 fc, 消去法都在子阵义^自己的范围内进行 t 
对该结论的证明，除了照上述分析进行，还可以利用矩阵釣分玦乘 
法。也即把矩阵分成块，视每一块为一个元素来进行 乘法， 按分块 
乘法 LDLT=AW 以写成 

卜 Oim , o -| ry t FI rL t D t oiru , fi 
Lb C JLo E 儿 O gJ lB t D t CEilo g\ 

( L . D . U , L t D k F 1 
lBD t U k BD t F+CBGi 

当然，这个分成的方或长方的块，必须庚得这些块之间的乘法能够进 
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fr* 5 将乘得的矩陴与 A 相 比较， M 然可见，它的左上角与 
A t 是相等的，也即 （19) 成立。 

利用这一点我们就可以写出主元公式，取 （19) 式的行列式，得 
detAi^dettidetDidett/isdetDedidr.-di. (20) 

也即前 fc 个主元的乘积等于 A* 的行列式。我们己经知道，这一结论 
当10=«,也即对整个矩阵炱=义*是成立的.由这一规则知 A*_ t 的行 
列式为 Idr-cU-i。 由此，我们可以把屯分离出来写成两个行列式 
•的比 


de tAt _ d 

detA t _i did : … A -! 


( 21 ) 


在上面的例子中，第二个主元 (ad_fcc)/a 正是彳 2 与彳 1 的行列式的 
比（为方便起见，记 A a = u 这样第一个主元就是 a/1 = 1 ). 把全 
体单个的主元乘起来，我们就得到 


d !d a … 沒， 


detAi 

detA & 


tletAa detA_ 

detAi detA …, 


山（:: 】 ） 就可以得出对我们所提问题的答案， detA * 全都不为 
零，则主元全都不为零。 

4E 当且只当主子矩阵 A,, …， 全都非奇异的时候， 

对 A 进行的消去法才可以不经过行交换 t 或者不使用徘列矩阵，或 
者不产生零主元。 

" § 4 .1 末尾提到了性质卜 3 的相容性。失键的是性质2 • 性质 
2说，行交換使行列式反号„我们利用这一性质导出了排列矩阵 
匕的行列式。显式公式 （ 8 ) 中留下的唯一疑点是：用行交换变 P a 
为单位矩阵时 f 行交换次数的竒偶，跟行交换的次序有无关系.如 
果没有关系，我们就 可以把排列矩阵分为“奇"、 ** 偶”两种，由 

* 这一方法虽然到现在我们才提到它， fi 它是 扱有用 处的， 
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性质 2 知，它们的行列式恒为一 1和+1。 

我们来考察排列 （3, 2, 1 ) 。 将 3 和〗交换。经过这样一次交 
换，该排列就成了按 肖然数 噘序的 排列； 先将 3 和 2 交换，再将 3 
和1交换， g 后将2和1交换。经过这样三次交换，该排列也成了 
按自然数顺序的排列 • 两种怊况下交换的次数都是奇数。可以得出 
结论：偶数次交换不可能将排列（ 3 , 2 , 1) 变成按自然数顺序的排 
列， 


我们来对上述结论迸行证明，考察该排列中的每一个数对，记 
大数在前的数对个数为 N 。 显然，按自然数顺序的排列 （1, 2, 
3), 它的排列（ 3 , 2 ,1)的它的太数在前的数对为 
(3, 2), (3, 1). { 2 , 1)„我们要证明排列与 N 同奇偶，换句话 
说，首先对任何一个排列，每一次交换都使 W 増加或少一个奇数 • 
其次，变一个排列为按自然数顺序的排列 （ 此时0 ) 所需交换 
次数的奇偶同于原排列的 JV 的奇偁。 

如果交换的两个数相邻，则 W 改变1或 一 1, i 和一 I 都避奇 
数. 固而，倘能断言，任何一个交换都可以用奇数个相邻数的交换 
来完成.我们的证明也就完成了，因为奇数个奇数之和坯是竒数. 
这一断言易于用例子来证实 • 下面这个排列中第一、第四两个数2 
和 3 交换，可用5 (奇数）个相邻数的交換来完成 

(2，1, 4, 3) -,2,4, 3) — (1, 4. 2, 3) 

—(!, 4, 3, 2)—(1, 3, 4, 2)—(3, 1, 4, 2). 
一殷地，使第 fc 个数与第 i 个数交换，我们需先用 I 一 fc 次相邻数交 
换把第 ft 个数换到第 I 个数处，再用! 一 fc _ l 次相邻数交换把原来 
在 I 处的数（现在在 [—1 处）换到 fc 处。而 G — fc ) + ( l _ fc —1) 是奇 
数。我们的断言得到了证实„证明完成了 a 行列式不仅葙前面讲过: 
的各条性质，并且是存在的。 

练习 4.4.1 利用 （17) 求 A , B 的逆矩阵 
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， a b ' 

. o f? j 


0 0 

练习 4.4.2 利用克莱姆规则求 ”，z 
x+4y—z=l 
x+y-i-z=^ 0 
2 x 十 32：=0 

练习 4.4.3 求出变直角坐标 A h 2 为球面坐标 r，I P 的雅 
可比行列式 J 。 知欠 = rcos 0 cos 切， y ^ Ysindsin ^, z = YslnP , 

练习 4.4.4 ( a ) 画出以 A =(2, 2), B =(_ l , 3), C =(0,0 ) 

为顶点的三角形。根据它是平行四边形的一半，解释为什么它的面 
积 


i-f ^ I- 

L L — 1 3 


面积 ( ABC ) = - 
( b ) 换顶点 C =(0,0) 为 C =( l ,-4), 再推出并验证公式 


面积 (ABC)=+det 
提示：从第 一 ，第二行中减去第三行，得 


「义 

y > 1 - 


r 2 

t 

1 i 


yi 1 

=+det 

一 1 

3 

1 

^3 

y a 1」 

1 

L i 

一 4 

1 」 



「2 2 1 

r ] 6 0~| 

det 

—1 3 1 

= det -2 7 0 


-1 一 4 1 」 

1 J _4 i _ 


: det 


(-； :]- 


看看新顶点 V=(l,e), B f = (- 2 , 7), 与 A, B, CT \ 

着怎样的 芜系？ 请画图。 

练习 4.4. 5 用体积的计算来解释，为什么对任何的 wxn 矩阵 
4有 det3A=3_de tA, 

练习 4 . 4 . 6指出 


■ 193 ■ 




r- 2 ) 1 

A = 4 5 0 

-o e -4-* 

的主元素，弁用消去法求出结果加以验证„耑否进行行交换，以避 
免逆主元？ 

练习 4.4. 7变排列 （1,2, …, H ) 为…， I )所需交换次 
数是竒数还是偁数？ 

练习 4.4. 8写出一个变=(7(5,3,1,2,4)负（1,2,3,4,5)的具 
体步骤。 cr 是奇排列还是偁 排列？ 

练习 4.4.3 利用 （1,3.2), (2,4,4), (1,5,2) 所构成的矩阵判 
断它们是否线性无关= 


复习题 


4.1 为保证4 x 4矩阵的行列式为零，至少应该让它的 哪几个 元莆为 
零7 

4.2 为保证4 X 4矩阵的行列式为1,至少应该让它的哪几个元素为* 
芩，哪几个元素为1 ? 

4.3 求下面矩阵的行列式 

, 1111 , 

11X2 
118 1 . 

^ 1111 , 

4.4 若5=苋-以邶，则 detB = detd ， 为什么？ 

4.5 试举出一个 det (』 + B ) = d e tj + detBK ( SJa 。 

4.6 矩阵给。乘 d 笫一行以3,记所得矩阵为5。再在5中从第二 
打减去第一行，记所得矩阵为 C , HdetC 与 detZ 有着怎样的关系？ 

4.-( 利用克莱姆规则解方 W 组 Su + 2 v = 7, 4 u + 3 v = ll 。 

4-8 如果 d 的元 素都迸 整数， ILdetd 为1或 - 1,则.4 _1 的元紊也 都足 
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毬数 《 为什么？ 

4.9 如果^和^- 1 的元素都是 整数， 则 detdflldetd 1 都为1或 - U 为 
什么？提示 i deM 乘上 deM _ l 得什么？ 

4.10 求 

H 
L f ! 9 J 

的代数余子式和逆矩阵。 

4.11 —平行六面体的四个顶点为《,0,0>， (-1,3,2), (2,-1,2), 
<2.2,-1> 0 试求出它的体积和另外四个顶点。 

4.12 问5 x 5 矩阵的行列式的展开式含多少项？ XH r 如果 
则打多少项一定为零？ 

4.13 知 d 的卉行的和都为零，又知列向置*的元素都为1。试求出 
Ax n 又•问为什么 dctd = 0 ? 

4.14 问为仆么 (1,2 ，-, 9 > 的排列个数为偶数？又问为什么其中 
恰好一半为奇排列？ 
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第五章特征值和特征向 M 

i 

" §5.1 引 言 

矩阵论的■■后半”部分从这一章开始 * 矩阵论的“前半"部分 
差不多全涉及线性方程 b ,而且基本技巧是消去法.从现. 
在起，那些技巧只起很小的作用。新的问题仍将通过简化一个矩阵 
~览它变成对角的或上二 角的一 来得到解决，但是基本歩骤已不再 
处山一行减去另一行的倍数，我们对保存矩阵的行空间不变不再感 
兴趣，而有兴趣于保存它的特征值不变 5 而初等行变换是做不到这: 
—点的。 

关于行列式的一章实际上是由老问题 b 向关于特征值这 
个新问题的一个 过渡。 在这两种情形里，行列式都得出一个 “形式 
解”；在 b 情形中引出 Cramer 法则，而后一情形引出多项式 
det ( A - A /), 它的根将是特征值（我们强调 指出： 现在所有的矩 
阵都是 方的； 一个於方矩阵的特征位和它的行列式同样没有意 
义）. 如果 ft = 2 或 3 ,行列式实际上可以用来解决求特 征值问 
题。对大的 n ,恃征值的计算菇一个比解 b 大得多又难得多 
的 ft •务，甚至 G auss 本人也无能为力 4 但此事可以搁一搁再说„ 

笫一步是解释特征值是什么及它有多大的用途„它们的戍用之 
一是解常微分方程组，我们打算用此来引入特征值.我们将不假设 
读者熟知微分方程，如采他能够微分通常的函数如 sinx 和 〆 就 
足够了.作为一个特殊的例子，考虑两个方程的方裎组： 

― = 4w~5iv 当 f = 0 时 8 
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— 2 v — 3 w 


■1] t = 0 llj- 



这足一个初值问题，不 R 于§ 1.6 中的边值问题„未知数仅在 * ， 
Oll . j 给定> 而不是在一个区间的两端给定；我们对一个瞬时状态比 
对一个定常状态更有兴趣。这个方程组从给定的初值起适时演变. 

问题就是求出这个演变规律。 

用矩阵形式写出这个 方程组 是很容易的，令未知向量楚它 
的初值是 w » J 3 .系数矩阵是 A : . 



用此记号，方程诅变为 

~^~=Au t = 0时 » =Mo (2) 

这就是此问题的基本叙述，注意它是一个一阶方程——没有高阶导 
数出现一■而且它关于未知数是线性的。最一般的线性一阶初值问 
题是 


-^-=A(t)H+b(f) '_ [ | ( = 0 li't u. = Ua ( 3 ) 

通过比较可知，我们的例子 （ 2 ) 式是齐次的 ( & -0 ) , 而且它也 
有一个常数系数 .即： 矩阵4与时间 t 无关。 

我们怎样求得这 个解？ 如果只冇一个未知数而不是两个，问题 
将是容易回答的，将得到一个数的而不是向量的微分方程。若方程 
是常系数齐次的，那么它只能冇下列 形式： 

^ y-=aw 当 t = 0时 » =Ko ( 4 ) 

它的解，读者可能是知道的； 

u(t)=e" l u 0 (5) 

在初始叫刻 t =0, «假定取值〜„当 d >0 时，方程是不稳定的， 
出 a = C 时是中性稳定的，而 3 a <0 时是稳定的；这个解或者趋于 
无穷，保持打界或趋 T 零，芯 a 足一个复数 a =«+ 诏，则对■其实部 
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« 可以进行相同的检它的解 ⑻以。 ， 其虛部产生一个振动 


■ e ^^ cos ^ t + isinm ： 0鬼丙子广保证了稳定性 5 
. 单个的方程就谈到此。下面我们直接讨论方程组，并寻求类似 

在纯 fi 怙况下，所求出的按指致方式依赖 （ 的同一类解 s 换句话 
说，我们来寻求下列形式的 M 


v(t)=e l 

i z 

(6a) 

u(t)^e l l x 

(Sb) 


或用向量记法 

把希礓得到的这个解代入微分方程组中，我们得到 
/.e x 'y— 4 e l 'y—oe 11 ! 
ke l 1 2~2e i ' ji —3 e * 1 z 


在备项中有公典因子 eh, 可以移出消去„所以能消去足由于我们 
假定两个未知数有相同的指数；如果 u 和 w 对应不冏指数函数 eh 和 
ePi , 这些因子得出现在方程的两边，消去它们将是不可能的。这 
样做之后，得到 

4 y _ Sz^Ay 

, ( ? ) 
32 = ^2 

把》 =eA 伙代入 dw/df = Aw 给出且消去公因子后得 
到 


Ax~Xx ( g ) 

送是一个关于特征值;I和特征向量 x 的基本方程，注意它是菲线性 
的^因为它涉及两个未知量2和 x 的乘积。如果我们能找到数 A , 
则此方程对 x 而言是线性的；事实上.我们可以把； be 写成为 Ak_. 
弁把它移到方程右边 

( A — Ar ) j (= 0 ( 9 ) 

显然地，特征向量 X 位于矩阵 

• 入单位矩阵汶仅是为了保存矩阵， 句 里和数 Jft 的记法 f 方侄 Uj ：= 0是 

简短呰，但是含混 不淸。 


- 198 - 




的核内. 

这里有一点很关键：对每个/I 值，向 = o 总满足 
任何矩阵的核都包含 x = o «但是枣向量在我们建立形如指数形式 
(的解的问题中是没有用的 3 于是我们只对那些有非零特 征叼量 
x 的特殊的值;I打兴趣. A—1T 的核必须包含某个非零向 ft 才有研 
究的价值，从而其秩必定小于矩阵的阶数。简言之， A+AJ 必须是 
奇异的. 

对此，行列式给出一个确切的检验方法， 

5A 数;I是 A 的相应于一非零特征向量的特征值，当且仅当 
Jet ( A -^/)=0 ( 10 > 

这个方程叫 A 的特征 方程。 

在我们的例子中， 
f 4一 X 一5 1 

det I =(4—A)( —3—AJ + IO—A 1 — X —2 

I 2 -3 -AJ 

特征多项式 A 2 —A—2 分解为 （A + l)(A-2), 从而矩阵 A 有两 
个不同的特 征值： = — 1和;对这些特殊的值都有相应的 
特征向量的空间，满足如= 叔或 U-；U)JC=0 ,对； U 和； U 的计算 
分別进行： 


^i = - 


从而它的解是 r 


' 1 ' 
,1 . 


( A —X 
的任意倍数: 


：： ][ ： H：] 


iE=2 - ( a -，，C : :I:H] 

= ] 的任意倍数 t 

不是唯一确 定的 ； A — W 的核 （ 我们称之为相应于 A 
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的特征子空间）中任何叼量都是特征向 M , 而我们所要的是这个空 
间的一组基.在这个例子中，两个特征子空间都是一维的，它们分 
别由 a 和心张成„ 

回到原来的微分方程.我们已找到它的两个纯指 数解： 





和 


u=e^2t>: z 



因为这个方程是线性的，齐次的，所以叠加是允许的；这两个特解 
的任何组合， 


u=C l eii t x l +C 1 e^x^ ( 1 i ) 

仍是一个解。现在我们有两个自由参数有理由希望它们 
可适当选取，使之满足初始条件：当 t =0 时 

C|Xi+C s JCi=w r , ( [2 ) 

或 


这些常数是<^= 3和 

« ⑴ = 3 e — 


=I ,从而原方 


从而原方程 o ) 所要的解是 


(13) 


( U ) 


把两个分璧分开来写，这意味着 

uCO^S^'+Sc 1 * w(0 = 3e~ , +2e i ' 

初始条件8和 iv e = 5是容易验证的， 

看起来解一个方程的关键在于求它的特征值和特征向量，但是 
这个例子没有说明的是它们的物埋盘义；它们本身是很重要的，而 
不仅是求《的一部分技巧„大概最简单的例子 • 是一 队士兵 通过桥 
梁的例子.传统上，他们要淳止齐步前进而 要散# 通过，这个理由 
是因他们可能以等 T 桥的特征值之一的频率齐步行进，从而将发生 
典振（说像孩子的秋千那样 f 你一旦注意到一个秋千的频率，和此 


. 我从不相实性，虽然据说 ia 3 i 年有一 桥梁® 于此 
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频率相配，你就使秋千荡得更高）。一个工程师总是试图使他的娇: 
梁或他的火箭的 D 然频率远离风的频率或液体燃料的频率：而在另 
—种极端情况，个证券经纪人则尽毕生精力于努力到达市场的 
然频率线.特征值是几乎任何一个动力系统的最重要的特征。 

现在我们来综述一下已做了的和需要去做的事情。上述引言已 
经说明当解方程 = 时，特征值引出特征向量是自然而然 
的。 这样一个方 程有“ 纯指数"解《=抑心特征值给出増长或衰退. 
率，而特征向量以此比率去发展。其他的解则是这些纯粹的解的叠 
合，这种苍合使之适合初始条件。 

关键的方程是 = 绝大多数 X 不满足这样一个方程 f 无 
论 A 是否是特征值.这样一个;^当用 A 来乘它时将要改变它的方 
向，所以 M 不是 X 的倍数 • 这意味着只有某些特殊的败 J 里特征 
值，县只有某些特殊的向 a 是特征向量.当然，如果 A 是单位矩阵 
的倍数，则没有向量被玫变方向，从而所有向量都是特征向量，但 
在一般情形中.特征向量是很少的，而且彼此相距甚远. 

例设想地球作一个任意的旋转，那么总有一个方向是固定不 
动也就是旋转轴。 S 然并不需要让地球真正那样旋转一下，但 

是必定有某个北极和南极固定不动这两个极就是特征向量- 

它相应的特征值等于1。一般情形下，其他所有的点都在动，从而 
没有更多的特征向量可以找到.仅有的例外出现在当旋转360。（这. 
时每一点都是特征向量）或旋转 ISO ' 在 180 的情形中，特征向量 
布满赤道 平面； 这个平面上每个方向恰被翻转为相反的方向，因此 
特征值是_1*这个赤道平面是■■二维特征子空间 u ;单一的特征 
值 A 1有两个无关的特征向量，于是有—个特征向量的平 
面， 

在某些方面这是一个好例子，而在另一些方面则就不是了•与 
此例相反，特征值一般不是± 1 ;特征向量通常被拉长或缩短„更 

• 我想这不是那么明 S 的，但它是正确的——你们不可能转动地球而使它每一点 
*动。 
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茧要 的是，这是 K 3 中的 一个 旋转，除了〗80°和360°之外，仅有一 
条持征向置直线而我们希望找到三条，在对微分方程的应用屮.为 
满足初始条件，我们耑5?二个不问的特解；一个特征值和一个特征 
阳 m 是不够的 r 找出 K 余两个的途径是允许考虑虚数 i - 如果在实 
空间 ii 3 中方程的解太少，我们就去界有复分量的向量空间 C s 看一 
看。准许考虑复数的话，任何 b x »矩阵都有》个特征值.在§ 
5.2 中，我们将对这个旋转的地球找到三个特征值和三个特征向量， 
而在 §5. 5中我们将做一个由实向量和矩阵向复数的情况的完整的 
转化. 

但这一章真正的主题是某些其他的东西.已做过的最重要的事 
情是怎样通过求特征向量来解一个方程组„这些特征向董是这个方 
稈组的"标淮样式"，它们的作用是独立的.我们可以分别来舂每 
一个特征向蛍的作用，然后把它们组合起来去找出方程组的解。用 
另一种方式来说，就是 底矩阵已被对角化了 s 

我们打算在§ 5. 2中叙述对角化理讼，而在后面儿节中诗论它 
的 应用： 首先是对差分方程， Fibonacci 数和 Markov 过程的应用， 
而后是对微分方程的应用。在每个例子中，我们不得不由计算特征 
值和特征向量入手 a 不存在能避开它的捷径.但是而后这些例子则 
沿如此不同的方向继续下去从至我们不可能把它们综述在一起，唯 
一能强调说明的是对称矩阵它是特别容易的.而某一类 ■■有 缺陷的 
矩阵”则是特别困难.它们缺乏一个完整的特征向量集，是不能被 
对角化的，从而在使用"标准样式”技巧上产生障碍。当然，这些 
矩阵必须要讨论，但是我们不打算在本书中涉及此事， 

为结柬这个引言，我们冋顾一下关于特征值和特征向量 ： Ax 
= Ax 的莱些最基本的事实„给定一个 II xn 矩阵，问题是求出这样 
的特殊向跫使得 A 在其上的作用象一个简单的乘法即： A ; (与 
x 有相同的方向 a 这个办法的第一歩是求特征值，把 / U 写成 Ak , 
并 II 把这一项移到左边 ； （ A _ U ) x =0。 A 的特征向量就是 A - 
^ 的化零向量.换句话说，关键的问题在于：如果 A 通过减去单 
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位矩阵的各种不同的倍数而变化，那么晒 些变化 可使它成 为奇导 
的？ 这些变化将 S 露出特征值 f 然耵我们就可以计算特征向量„ 
如果 A 本身已是竒异的，则一种可能性赴不需要再改变 它了。 
—个奇异矩阵的特征值之一是 A = 0 ,并且核包含有相应的特征向 
量，但是与本书的前半部分不同， A 是奇异的这件事并没冇任何特 
殊： 它的全部含义就是 A = 0是一个特征值，无论 A 是杏是奇异 
的，它的所有的特征值都处于相同的地位：组合式 A - M 是奇异 
的，并旦这个组合式的核是相应于; I 的特征向量空间 4 

为了确定 A —1 T 何时是奇异的，我们来计算它的行列式.这个 
行 列式是 A 的次多项式.称为 A 的特征 多项式 „方程 det(A — 
釕 ）=0 是特征 方程， 而它的根 …， 人（它可以是也可以 
不是实数，并且同一个; I 可以有也可以没有某个重数）是 A 的特征 
值。总 括起来 

SB 下列的每一个条件都是 A 为 A 的一个特征值的充要条, 
件： 

(1 ) 存在一个非零向量 x 使得 
( 2 )矩阵泌一/»是竒异的 
(3 ) det(A — A /)= 0 
例考虑对称矩阵 



它的特征多项式是 

1 —1 0 

det ( A -/ U )= -1 2 -X -I + 

0 — ! 1 —A 

于是特征方程是 

- A S -4 A :-3 A=-;.U - I )(；, - 3 )- 0 
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从而特此值都是实的且各不 相同： ^1=0, = I , 3 „我们 

分别对毎个特征值求相应的特征向景 A : ; 



且 ^3= —2 

I. ; J 

这些大贷的计算是不可避免的，并且第一次我们当然要选取一+好 
的例子.益不多的三次多项式不象我们所做的那样容易被分解：兹 
无疑问，恃征值问题在代数上及计兑上都是比 b 要困难的多 
的何题。对 T •一个线性方程组 ，有限个 消去法少骤在有限时间内就 
能得出栢确的答案 （ 或等价地说， Cramer 法则给出解的精确公 
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K)= 而在特征值的情形，则不可能存在这样的步骤和这样的公 
式，或者说，使 Galois 死不瞑@的是： GX 5矩阵的特征多项式是 
五次的，而他证明了不可能存在关亍五次多项式求根的代鳞公式。 
人们所能做的全部事情只是对已经求出的特征值给出某些简单的枝 
实方法，我们列举其中的两种„ 

5C ft 个特征:值之和等于 A 的 n 个对角元素之和 ： 

+ AiH - hA, = an+a i2 -i - |-a„ 

这个和叫做 A 的迹 （trace ) 而且这《个特征值的乘积等于 A 的行 
冽式. 

这可用上面的例子来验证一下.在此例中， A 的迹是 0 + i + 

3 - I + 2 + I =4 ,而行列式是 0.1. 3= 0 „ 

St 习5.1.1。求矩阵的特征值和特征向验 
证 ： 迹等于特征值的和，而行列式等于它们之积， 

练习 5.1.2 对上述的 A ,求解微分方程 

du/dt^Au, 

绎习 5.1.3 设我们由上述 A 减去 

—[： :;) 

B 的特征值和特征向量是什么？它们与 A 的特征值和特征向量有什 
•么关系？ 



练习 5.1.4 使用上面已求过特征值和特征向置的3 X 3矩阵 
为例，选取常数€ ; 使得解 + 满足初 

■始条件《。=〔 1 3 1 r 

不要把矩阵的特征值和它的対角元素混为一谈.通常它们是完 
全不同的 f 虽然如此，我们宁可冒引入一些混淆的危险，指出一种 
贺形，在那种情形中这两类数是相同的， 

5D 如果矩阵 A 是二角的——它可以是上三角的，也可以是 
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V」 角的，并且特別的，它可以是对角的则特征值; U, 
人.洽- ! 5对角线元衆 a : !, o；2, ■■*, a, •相 同。 

从一个例子就可以看出这个理由是 BJJ 显的。如果 


则它的特征多项式是 
/ -! 


0 

丄 

T 

1 

T , 


det 


-X 


( 1 - 彳 


行列式恰是对角元素的乘积 n 显然，它的 根是; i=i, 义 


-和 a 


=-^- ； 这些特征值都己位于主对角线上， 

练习5, 1.5 求这个三角矩阵的特征向量，并求下列对角矩阵 
的特征值和特征向量 

r 3 0 0 -1 

A ~ 0 I 0 

' 0 0 2 ' 

在这些例子中，通过查看对角线就可找出特征值，因此这些例 
子指出了整个这一章的主题：把 A 变换成一个对角的或三角矩阵， 
而不改变它的特征值.我们一再强调高斯分解 A = U 7 不适合于这 
个 g 的。 U 的特征值可以在对角线上找到，但它们不是 A 的特征 
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m. 


还心一种情形，在这种情形下计算也是容易的„假设我们已经 
找到了矩阵 A 的特征值和特征向量，则^的特征值恰是 

… H 而且 A 的毎个時征向量也是 A 2 的特征向量.其证明在数学 

上也是典 型的： 如果我们试图去讨论 / J ), 那么就会陷于 
繁杂的计算，但是如果从 ^U=；U 入手，全部事情则是很明显的， 
再用 A 来乘一次 

A~x~A^.x=^Ax— k^x 

于是 P 是X 2 的一个特征值，它的特征向量是同一个: e „如果第一 
次用 A 去乘不改变? (的 方向，则第二次也不会改变， 

2涉及两个矩阵时，这个道理不能 使用。 假设 A 是 A 的特征 
值， " 是 B 的特征值，则一般说来々£不是 AB 的一个特征值，一今 
试图的说明是这样的：若办=；^且如=狀则 ABx = A^x = MAt = 
氣 其错误在于假定 A 和 B 有公共的特征向量 jc f —般说来 ，它 
们是不同的. 

练习 5.1.S 举例说明当把矩阵的一行减去另一行的倍数时， 
特征®可能改变。 

练习 5.1.7 设 A 是 A 的一个特征值且 x 是相应的特征向量： 
Ax=kx 

(a ) 证明这个《也是的特征向量并求出相应的特征 

值， 

0)设/1弄0,证明 x 也是力― 1 的一个特征向量，并求 其時征 
值. 

练习 5.1.8 设特征多顼式被分解为 

det(A— 义 0 =0^ … (2_— A ) (113) 

通过适当选取;1的值来证明行列式等于特征值的乘积， 

练习5.丨.9分两步来证明迹等于特征值的和^第一步求出 
G 5 ) 式右端中 （一A)-— 1 的系数.其次，找出在 
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f Oil 
[ 

! ! a 3 £ — A 

I 

dcl(A—/l/) = dctj . 


展开式中涉及（一 D n ~^ 的所有项.解释为什么它们都来 S 所有 
主对角线元素乘积这一项中，并找出 （15) 左端（一1的系数。 
比较之。 

练习 5.1.10 (o ) 构造两个2 X 2矩阵，使得 AB 的恃征值不 

m ^ A 的特征值与 B 的特征值的乘积，而且 A + B 的特征值也不是 
原來特征值的和 4 

(&) 验证 A + B 的特征值的和等丁 -A, S 原来特征值的和， 
并且乘积也如此。为什么这是正确的？ 

练习 5.1.11 通 过比较 A 和的特征多 项式， 证明它 们有析 
冏的特征值. 

练习 S. 1.12 求 A = [】— g] 的特征值和特征向量. 

练习 S ,1.13 对 

1.0 0 2 , 

A 叫 0 0 0 

1 2 0 0 I 

求儿特征值，并验证它们的和是迹》 

§5.2 —个矩阵的对角形式 

我们立即开始一个实质性的计算。它完全是简单的而且在这一 
章的每一节中都将使 ffl, 

5E 设》X w 矩阵 A 有 n 个线性无关的特征向量，那么如果 
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这些句 a 选作为矩阵 S 的列向量，则 S^AS 是一个对角矩阵它 
的对角浅元素就是 A 的特 征值： 

. 又 i ( 

I ^ [ 

S~ 1 AS=yf = I (l G ) 


证明把特征向量 A 排成 s 的列，每一次计算积 AS 的 一列： 

(I I IW I i I 
ll i i)M I I 

然后把最后一个矩阵按一种完全不同的方式进行分解： 

I i i hill ||' 

: I i I "I I 丨 I 

单纯把它看成是矩阵乘法的练习.关键在于是按正确顺序来排刘这 
两个 矩阵。 如果 d 不是放在 S 之后而放在 S 之前，那么幻将乘以第 
一行的各个元素，而我们希望它乘以第一列 * 因此正确的乘积是 
SA. 于是 

(或 SMASsJ 或她 =5/5 叫 (17) 

矩阵 S 是可逆的，因为它的列向量（特征向量）假定是线性无关 

的. 

在给出任何例题和应用之前，我们再作四点注记. 

注1如果矩阵 A 没有多重特征值——数 / U ,； U , …， A ■是不同 
的 一- 则 ”个特 征向量自然是无关的(见下面的 5 F ) . 于是任何具 
有两两不同的特征值的矩阵可以对角化. 

注2 对角化的矩阵 S 不是唯 一的。 首先一个特征向跫 x 乘一 
个常数后仍是一个特征向量，于是我们可 以用任 河非零常数乘 S 的 
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各列，从而造出一个新的使之对角化的 S a 多重特征值有更大的自 
山度，而且对于平凡的例子 A — r ,任何可逆矩阵 S 都使 s_Vs 是 
对角的 （ 这个对角矩就就是 r ) 。这反映了所布向量都是单位矩阵 
的特怔向 M3— 亊实， 

注 3 .)VTMS=SdR^ s 的列向 M 组就是 A 的特征向遺组时 
成立.其 fe 旳矩阵 s 不能得出对角阵 d 。其理由在于矩阵乘法的法 
则。假设 S 的笫一列是 y, 则 Syf 的第一列就是如果这与 AS 
的第一列相同， as 的第一列按矩阵乘法可知是 Ay。 则 y 必定是一 
个特征 向量， Ay=A iy . 事实上， S 中特征向量出现的顺序和 yi 中 
特征值的顺序岛然是一致的 a 

注 4 并非所有的矩阵都有 n 个线性无关的特征向量，从而并 
非所打矩阵都是可对角化的.一个"冇病态的矩阵"的标准例子是 

Hi I} 

它的恃征值是 A 口; u=o. 因为它是三 角的： 

det(A —A/) = det| j =A Z 

如果 x 足一个特征向 a , 则它必定满足 



M 然 A = 0 是一 个二重特征值一■它的代数重数为2——但它只有 
一个一维特征向量空间》这个特征值的几何重数是I,从而我们选 
不出 S 来. 

这里有一个关于 A 不能对角化的更直接的证明。因为 ；U=；U = 
0 , yf 必须是一个零矩阵 • 佴是如果0 ,则我们左乘 S , 
右乖便得出 A =0« 因为 A 不是0,这个矛盾就证明丁没有 
S 能使* 

某些具有多重特征值的矩阵是可以被对角化的（例如 A = / ); 
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而其他的则是不行的，仅要做的检验是计算所有的特征向量，并|?-耵 
它们是否足够多。当特征值两两不同时，这没冇什么困难，这时代 
数觉数和儿何 i 数均为 U 但是如果一个特征 遒彳逛 w 重的，则一 
叨都要芻的核而定；只有当耵 m 个相应的特征向逯时，检验 
才能通过.当所有的特征值都通过了这种检验时，就有了一个完整 
的特征向量集合，从而 A 可对角化。 

为完成这一系列的想法，我们述必须证明一个有用的，伹并不 
很令人振奋的定理。 

5 F 如果非零特征向量 A , …， Je ■对应 不同的特征值幻， 

…，人，则这些特征向量是线性无 关的。 

先设 fc = 2, 且设 A 和心的 一个线性组合是零： = 

0用 A 来乘，我们得出 dA + CihA : 0 . 由此方程减去前一 
方程的 A , 倍， 向量； ^不出现了： 

CiUi— 0 

因为； U #； U 且 o ,我们得$6 = 0。类似地，0 ,从而 
两个向量是无关的；因为只有平凡的组合给出零向量， 

相同的论怔可扩展到任意多个特征向量的 情形： 我们偃定某个 
组合得零，用 A 去乘，再减去原组合的 A . 倍，从 而向量再出现 
剩 下一个得零的…，的组合_重复相同的步猓（或者 
说用数学归纳法）我们最终得到一个等于零的〜的倍数，这就保证 
C ,= 0 ,从而最终毎个 0=0. 于是属于不同特征值的特征向量自 
然是线性无关的。 

缟习 5.2.1 对矩阵 



求 S 并计算 S ^ AS . 另外将 ° * &对角化. 
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练习 5.2.2 求一个矩阵 A , 它的特征值是1和 4 ,而且它的 
時征向董分别是 [: j 和 j (提示> . 

练习 5.2. 3求矩阵 

A 

的特征值和特征向量，并写出两个不同的使之对角化的矩阵5：来. 

练习 5.2. 4 通过把 SUAStj 转置，求出使 A 5 •对角化的矩阵 
以及它所得到的对角矩阵》 

练习 S .2.5 如果 A , B 有相同的特征向量矩阵 S 使得4 = 
5』 1 54和5=545_ 1 ,证明回想起丄丄二儿丄因为 

它们爱:对角的），若乂=1丨: j , 求出一个这样的 B 的例子 t 

上述练习往量子力学中是重要的：具有相同特征向量的矩阵必 
定可交换，其逆也是正确的，而且甚至是更重 要的： 若 4 B = BASW 
这两个矩阵 有相同 的特征 向置.关键的步骤是注意到 Ax =； U 蕴含 
费 ABx =_ B / U = S > U =^ i », 于是 X 和是同一个 A 的特征向量， 
而旦如果我们为了简便假定 A 的特征值是两两不同的——特征子空 
间是一维的——则 SJC 必是％的一个倩数。换句话说 * 也是 B 的特 
征向这就完成了证明. 

在本章的引言中，我们谈到过地球的旋转.一个 9 CT 的旋转 K 
令一个方向不变：连接极点的轴是我们可能找到的仅有的特征向 
景。在赤道平而上， x 轴转成为: V 轴，而 y 方向变成原来的负 x 方 
向，如果地球上一点的坐标原采是 （ ％，^ ,〜 ） ，则旋转后他们是 
容易#出：坐标的这种变化可以用矩阵乘法来杏 
出： 



' 212 - 



•y。. 

i° 

-J o' 

/^o 



0 0 

卜 

a J 

1 0 

0 L J 



我们打算把这个旋转矩阵 A 对角化。第一步是找出它的特征值 
和特征向量，从特征多项式开始 

—A -1 0 | 

det(A - jI/) = 1 - A 0 |=(1 - A) (A* +1 ) 

o o i - A ! 

这个多项式的根是特征值，而且虽然这个矩阵是实的但它的特征值 
中间有两个是 虑的： 

Ai — 1 /li— i /ta — —i 

因为它们是不同的（甚至还是虚 .的！ ） ，矩阵当然是可以对角化， 
于是必定有一个完整的特征向量集，并且和通常一样被算出： 

/-I -1 0\ / 0 

^1= 1 ； (A — f ) x!=j I 一 I 
! 

k 0 0 0 / 

这个特征向量正好是南北轴 * 它是固定不动的。 

■ -i — 1 0 

0 — f 0 

0 0 1 - 


Ai= i (A —i/)jc a — 


或 = 


?i% — 一 i (A+ =] 


v 0 


0 


\ + i) 
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或 X 3 = \ i 

:。） 

T 是使 i 对角化的 S 和对角阵 d 是 

I 0 J ) \ / 1 0 0 , 

S = 0 -i i yj= 0 f 0 

V 1 0 0 j ■ 0 0 i J 

前面的理论保证 s_ 1 AS 与 d 相同. 

在这个例子中我们可以了解 A 1 的意义，几何上，它是一个180‘ 
的 旋转； 也就是 A 作用两次的 结果。 代数上， A=SdS— 导出 A s = 
SAS ^ SAS -^ SA ^ S - 1 , 这就确信了我们所已知的，即： A4A S 
有相同的特征向量矩阵 S, 前且每个特征值被乎方，一个〗 80 s 旋转 
的特征值是 1 £ = 1 , = — 1和（一 i) a = — 1, —1 的重数使我们确 
信整个赤道乎面被翻转了过来。我们可以继渎计算 A*, 它是一个 
36(T 的完全的 旋转， 

a 4 =s^s~ Mas- l s^s - 1 sas~ 1 =sa*s- 1 
想起 P=l, 特征值矩阵是 P=J f 而且 A*=^S- l =l. —个 360* 
的旋转就是单位变换. 

练习 5.2.S 你能找到90_旋转矩阵4的平方根 B ，并验证 R 2 = 
A 吗？ 回想起 R 和 R 2 有相同的特征向 M, 换句话说, S 是相同的. 
实际上存在真正可能的平方根 R, 因为 VTT =±1, VT = 
± (l + i )/-/ 2 , ^/― i = ± (l — f )/^ 2 

薄习 5.2.7 确定: 一: j 是否有两个特征向量， 
从而可以被对角化，还是只有一个特征向量而不能对洵化， 


■ 214 ' 



§5.3 差分方程和幂 iV 

差分方程不象微分方程那样广为人知，虽然它应该是那样.它 
以有限步长一步一步推 算的。 而微分方程则从无限的步长无穷多步 
椎算的^^但是这两种理论是绝对保持平行的。这与在数学中反复 
出现的离散的与连续的相类似，大概最好的解释是下而的例子，它 
实阮上 不涉及《维线性代数 f 因为银行中的钱只有一个数量. 

假定你以 6 势的利率投资 1000 美元为期五年.如果一年结算一 
次.则本钱乘以 1.06 且 P t+I = 1.066. 这是一个以一年为时间步 
长的差分方程，它把 fc+1 年以后的本钱与前一年的本钱联系起来， 
而且它容易 求解： 5年以后，原来的本钱1>。=1000已乘了 5 次，从 
而 

P s = ( l ,06) e P ,, = ( l .06) B * 1000= 1338 美元 
现在假定时间步长改为一个月，新的差分方程是 JV + , = (1 + 0. 06/ 
12)匕。5 年或 SO 个月以后 

P t0 = ( 1 +-^-) S ° P 0 = (1.005)*°- 1000=1349美元 
下一步是结算日利息： 

( i + -^ r “' iooo = 1349 . 83 

最后为了最彻底地刺激储户 f 银行现在提供连续的 结算. 利息每瞬 
间都在增加，从而差分方程失效了。事实上你可以希望会计不懂微 
积分，从而不能算出他应付给你多少钱。但是有两种不同的可能 
性：或者他可以越来越频繁地结算利息弁看出它的极限是 

(1 +--~ 6 --) S -' ： 000->e- 1(> - 1000= I349.ST( 芙元） 

或者他采用微分方程，它是差分方程的极 
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m , 把移到左边并除以时间间隔 ag 

- ---^― - = 0.06P f 趋于 -^- = 0.06p 

它的解是 = d ‘° a < Po， 从而5年 JS ‘总计〗 S49.87 美元.蕺使按 
瞬时去结算，本钱仍保持有限而且差别只有4美分， 

这个例子包含了差分方程和微分方程两者，而当时间步校不再 
出现时，前者变成后者.但是也有许多遨分方程，它们是独立存在 
的，我们的第二个例子就来源于著名的 Fibonacci 数列： 

0,1,1,2,3,5,8,13，,. 

大槪读者 E 看出送个规律 t 每个 Fibonacci 数是它前面两个 Fibo- 
nacd 数的和， 


F i+2 =F!+F l+ e (18) 

这是一个差分方程，它出现于各种各样想象不到的应用中，因此值 
得单独写一本书，树木上的剌和叶子按一种螺旋的样式生长在树 
上。在山植.苹果或橡树上，绕着茎每两圈可以找出5个生长物„ 
梨树每 3 圈有8个，而柳树就更复杂了，每5圈有13个.而冠军大 
概是 Danid T. O'Connell 的向日葵了 （ 《科学美闻人》1951年 
11月份），它的种子选择了一个几乎令人难以贾信的比例 F, s /F I3 = 
144/233*. 

我们怎样才能不是从厂= 0, 出发，一步一步地推出 

心^而求出第一千个 Fibonacci 数呢？ 这个办法是解差分方裎 
^ + *=^ +1 +^,而且作为第一步这个方程可以转化为一个 •■一 
步方程” w t+l =A« ts 这个类似于本息增长率， P i+l = l ,06P t , 
不同的是现在未知量必须是一个向量而因子 A 必须是一个矩阵 ； 若 


，关宁这些植钧学的应用 * 诘参看 DArcy Thonipson 的书 C：On Growth 古 nd 
Poro » C Cambridge UWu.JVess ， London aMd New Yorht 042 ) 或 I^tcr Sle- 
vtnm ^Patterns in Nature^ C Uule, Brown^ 1374)，Fu 的数苜种应出己刊产 
^Fibonacci Quarterly)) t Fibonacci 本人是第一仑把阿拉泊敖 7 引入欧 洲的， 大溉 
在公元 [200 年左右。 


. 216 - 





「F … 



Uk^= 

u 

则 





口巧 + 1 

i+F l 

变成 

P* + i : 

-Ft*\ 

L 





这个变换对任何 S 阶方程都是一个标准的 设计： 个如 F, + 1 = 
那样的平凡的方程与给定的方程组成- •个一 步方程 。对于 
Fibonacci 方程来说， S = 2 „ 

形式上，差分方程= 是容易解的。因为每一步引起一 
次用 A 去乘， 解 u* 与初值(1«由关系式 Ui =A4。 联系起来，问题在 
T 寻求某种快速计算幂 A* 的方法，从而求出第1000个 nbonacci 数， 
关键是 A 的特征值和特征 向量： 

5G 若 A 可对角化， A=SJSM, 则自然有 

« 1 = A t W D = C^S- 1 )(S^S' i )-(SylS- 1 )»o=Syl I S- 1 It 11 

(19) 

除了第一个 S 与最后一个 S〃， 每个 S— 1 取去一个 S. S 的列向量 
是矩阵 A 的特征向量从而由矩阵乘法引出 

-x.)p l 、' Js- 、=。，》..+<：丄*, (20) 

一般解是特解 Ah. 的一个组合，相应于初始条件《。的组合系数心是 
…+ £^>, = 1^或 (21) 
这些公式实际上给出同—个解^ = 的两个不同的途 

径。由第一个公式 （19) 可看出 A 1 与心 是相同的，从而我们可 
以到此为止。但是第二种途径更清楚地显示了与解微分方程的类似 
性： 代替纯指数函数解现在我们有纯幂解汜 " 基本成 
份”仍是特征向量而且在每一步中它们被扩大特征值不倍•把 
这些特解按与 w。 相符的方式组合起来，我们重新得到正确的解 
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SAW、 

在任何一个像 Fibonacci 方程这样的特定的例子中，第一步都 
是把矩阵 A 对角化： 


F 1 

[ 1 


det ( A —^/) = A £ 一 A — J . 


H-\/ 5 




^ 5 ^ 1 If ^ ^ ' 1 —乂 1 1 

.；1 Ji aJl-1 Aii Xl ~ kl 


—旦这些特征值和特征向量被求出，便可使用公式 （19), 始值 F 0: 


0 , 6 = i 给出 «o= o ,而且 


• F …， 
. F ,. 
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Fibonacci 数匕是这个乘积的第二个分 _M: 




Ai Ai 一 A2 


= 士 ■[(」 V 5 )'-( '"/ Ml - 

这就是我们所要的答案.在某种意义上它是更令人惊奇的，因为 
Fibonacci 法则\ + a + ，十 F ，总是必定得出整数，而我们却以 
分数和方根表汞其结果。它们中的某些部分必定相消而余下一个整 
数.事实上，因力第二顼 （（ 1 _7T)/2〕VW 总是小于 j ■的，它 
与第一项合并，必定得到最接近第一项的整数*相减的结果只余下 
整数部分，从而 
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F 1 a d 最 接近于(-丄 ) 的整数 * 

3然这是一个巨大的数字，而且^^。^将更大.很淸楚，分数部分 
与此整数部1相比越來越微不 足进： 比疸 F t ^ , /Fi «> „,必定非常接 
近于 0+VT)/2~〗.M8, 希腊人称这个数为"黄金中值” '换 
句话说， Ai 与; U 相比是微不足道的，而且比值 F i+1 /F t 趋于 A 广V 
义 S = 义1 . 

练习 5.3.1 假若 Fibonacci 从 F ,= 1 3开始它的序列， 

而后面仍采用相同的法则 F *^= F t +1 + F t . 求新的初始向量 w 0 , 
新的系数 CsS — 1 !^ 和新的证明比值卩* +1 /^仍趋于 
黄金中值. 

练习5, 3. 2如果每个数是它前面两个数的中值， <?*“ = 
J - CG^.+GO ,给出矩阵 A 并将其对角化。由0。=0和+开 
始，求出公式，并计算当〜时它的 极限。 

练习 5.3. 3 Bemadelli 研究这一类甲虫，■■它只能活3年， 
而且在第3年繁殖 ". 如果年龄一岁的组以■的概率存活，两岁的 

组以 f 概率存活，而3岁的甲虫生6个雌虫后死去，相应的矩阵为 
, 0 0 6 . 

| 0 0 

( 。+ ° : 

证明 A 3 = J . 若开始时每组有 3 000个甲虫，求 S 年的甲虫分布， 

马尔科夫过程 

在第一章中有一个哭于加利福尼亚洲人口迁入，迁出的练习， 
它值得再来看 —看， 有这样的规律： 

每一年，加州以外人口的；^迁入加州，而加州人口的&迁出 • 

~ • 圾优霣的雉形其 之比为 uaisaj . 
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这给出一个差分 方程： 开始时，外部人口为 h 而内部 人口为 〜， 
年以后有 

外部人口 



当然这个问题是凭空想象的，但是它街两个实质的性质，我们称为 
Markov (马尔科夫）过程。人口总数保持不动，而且外部和内部的人 
口数决不能负的' 这第一个性质反映在下而事 实中： 矩阵每一列 
加起来为1 ;毎个人都被计算在内，而没有人被重复或丢失。而第 
二个性质则反映在下面亊实中 ： 矩阵没有负元素；同样地力和心是 
非负的，从而力和~, h 和 h 等等均也如此„幂 A * 都是非负的. 

我们打算先解这个特殊的差分方程， （ 使用公式 ） 
然后看 一看人 口是否最终达到一个"稳定的状态"，最后对 Markov 
过程作一般性 讨论。 开姶计算时 A 必须是对角化： 
f0.9 0.2T 

A= det(A-/?/) = A i! -1.7^+0.7 

lo.l o.sj 

Ai= 1 和 Jii = 0.7 



* 不仅如此 t 历史状況也被完全置之度外，即，每一个新的状态 WJf— 】仅依联于前― 
个 WjI ，Ww & ，…，1的记尕可以抛开不管大概我们的生命也是 Markov 过程的砷 
子> 但我希盟不是如此* 
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现在我们可以求出 A * 和 fc 年之后的分布 

o [::] = !: _ 丄「 —:r:] 
\ t 3 


( 丨丄 
! 3 1 i 3 

= Cyo+^o)| - ％ ) (o.7)1 i 

i + ’ 1 ~ T , 

这就是我们所要的解，而且容易看出经过了很长一个时期以后将会 
出现什么情肜：因为变得非常小，从而这个解达到一个极限 
驮态 


^ 00 " 
- 2 CO - 




总人口仍是 + 与开始时一样，但在此极限中，人口的 | 在加 

州之外，而+在加州之内 6 无论初始分布是什么样的这总是正确 
的.读者可以看出这个稳定状态恰是练习〗 .3. 3中所要的分布；如 
果这一年由 f 外部人口和+内部人口开始，那么它到最终仍是这 
样： 


0.9 


0,1 


0.8 







或 Au O 3 = U 0 q 


这个稳定状态是 A 相应于;1=】的特征向踅。用 A 去乘保持《=0不 
变。而这样去乘使我们由一个时间间隔转向下一个间隔。 
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一个 Markov 过程的上述描述兑仝是冇条件的 :人 口按一个固定 
N 比例迁徙'但是如果我们 代之考察肀 独的一个人，那么迁徙的规 
忭被赋予一个概率的解释。如果这个人在加州之外，则他迁入的概率 
!^ ； 苦他在 如州 内，则他迁出的蔸率是&„他的迁徒就戍为一个 
随机 HIV :, 支配它的矩阵 A 叫做转移矩降，我们不可能确定地知 . ill 
他 Oi 在仆么地.但是每一年 Ah , 的分 觉说明 了他在州外的 
慨率稆他在州内的概率，这些概率加起来为 i —^但他必定在某地 
——而且他们不能是负的，这又把我们引回到转移矩阵的两个基本 
性 K : 每一列加起来是 I ,而且铒个元素满足 

这个理论的关键步骤是解释为什么 A = 1总是一个特征值，以 
及为什么它的特征向 M: 是稳定状态，笫一点是容易解 释的： 4-/ 的 
毎一列加起来等于 1-1=0. T-ilA- i 的所有行加起来是一个 
零行，它们一定是和关的，7是夺异的，从而是一个特 
征值.除丁非常特殊的愦况之外， h S 终将趋亍相应的特征向墅„ 
这可以 屮公式 》* = CW A +……+ Ci w A 看出。在这个公式中，没 
右一个恃征值可以大 T 1 ;否则概率1^将如 Fibonacci 数那样越来 
M 大，这是不可能的，如果其它的所荇特征值严格地小丁 L . 
则公式中的第一项将完全处于支配 地位； 其它的4将迅速地趋 _f 
0,从而 《*— 如果矩阵 A 不仅是非负的而是实际上是 
正的那么这个稳定状态是确定的，则向量以义只有正的分 
适，它们加起来等于1 ,而且它们是 Markov 过程的极限概率„ 

练习 5.5. 4 假设有三个大型运货卡车中心。每个月中，在波 
± 頓和在洛杉矶的卡车的一半开往芝加哥，而其余一半留在原地 4 
而在芝如哥的卡车分成桕等的柯半分别去波士顿和洛衫矶 # 给出3 
X 3转移矩阵并求相应于恃征伉』二！的稳定状态„ 

练习 5.3. 5假定有一种传染沾\在每个月内.健康人的一半 

_如果 W 个外部的人都迁入， — 个内茹[；」人朽 It 出，则每年人口都从 
抓^定状态是不可能出现的，这时转移矩阵 A =〔 = ^〕认而-1和1问足犄祉 



会 染上病 ， 而病人的 i 会死亡，求相应 Markov 过程的稳定状态。 

4 


1 


1 -1- 0 

4 


d. 

s i+ L 

= 

o -- 

4 2 



W + 〗 


0 0;— 




( d , S , W 分別表示死人，病人和健康人…-译注） 

练习 5.3. 6假定给定的一代人或者是优势遗传的，混合的或 
是隐性遗传的 一一 遗传基因决定眼睛的顔色或者两个是棕色的 ，一 
棕一蓝，或者两个蓝色一■分别具有概率 A , / t 。， 〜（我想在混合 
情形下，两个眼睛实际上看起来是是棕色的，但是无论如何父亲的 
两个棊因可能被同等地继承下来）。若所有的妇女假定都是混合 
的' 则由母亲继承来的基因是棕或蓝的具有相同的概率。求对下 
一代的一个儿子，给定概率心和^的矩阵 A 
/dj . d 0 

I 

h ( = A ; Ha 

Ul ! Uo ； 

因为来自父亲的基因必定是棕的，经过无限多代之 
后.极限分布(^^是什么？ 


结定性 

Fibonacci 数和 Markov 过程之间存在着一个明显的差 别：数 
F* 变得越来越大，而根据定义任何“概率”在0和1之间. Fibo¬ 
nacci 方程是不稳定的， 而且结算利息方程 P t+ i = 1.06P* 也是不稳 
定的；#本钱永远保持增长。如果 Markov 槪率减少至零则方程将成 


* * 际上本会是 这样 的，我希 望能谅 解这个@定》 



为稳定的；但是不可能如此，因为在每个状态 T 它们加起来必须是 
U 于是 Markov 过程是中性稳定的 （neutmily stable ). 

现设给定一个差分方程 , 我们希望研究当 Ic — 如它 
的属性 a 设 A 可被对角化， Mil 这个解将是一些纯解的组合^ 

Wt = SA *s _ 1 K 0 = C 1 /. f X i + r C„Ujc.. 

滋长由因子 a ! 支配舂，因此稳定性依赖于 A 的特征值。 

5 H —个差分方程当它的所有特征值阳 < 】时， 
它 S 稳定的，而且当所冇 U;l < 1时，它是中性稳定的且 
冇界.而当至少有一个特征值 P..I > 1时，它是不稳定的，而且 
I是无界的. 

例1 矩阵 

< 0 4 't 

A= ! 

当然是稳定的，因为 A 是上三角的，所以它的特征值是位于主对角 
浅上元素0和由任何一个初始向量％出发，由法则 
得出，这个解必定最终趋于零： 



茂者可以看到较尺的特征值是如何支 E 养这种衰减的 ； 在第一步之 
后，每个向量1^是前一个的一半。而第一步的实际作用是把 w 分 
戍 A 的两个特征向 M 。 


* 224 - 




[: H:H— :] 

而且把第二个 （ 相应于^ = 0 ) 向葡化零。第一个卩 J 量在每一步 
乘以 

注既使 A 有很小的特征值从而非常稳定， 向虽 〜在开始时 k 
度还是增大了，直到《 4 才变得比如 短了。 而且衰减以一个几何比率 
继续下去。为睬证一个直接的衰减，使得1 Ml 1 < 1U。 || 或 I A。！ 
< 1»!1对任何一个非零起始向都成立 s 我们耑要 

[I Alt II 2 -^ u t A t Au < [j w II 2 = w r w 或 VCAM-fXO 

( 22 ) 

这&一个比关于特征值 |A,| < I 的条件更严的要求。用第六章的术 
语来说，这意味着 A T A — 7是负定的，（它的特征值均负）而用第 
七章的术语来说这表示 A 的“棋”小于1。 

练习 5.S .7 如果对角线上方元素换为 ai2 =v^3~/2 —— 
负特征值——证明存在一个直接的衰减。 

练习 5. 3,8对方程组= a ( y i + 和砰, + 1 = 
^( V . + W .), 什么样的 a 值产生不稳定性？ . 

例2 泾济发展的 von Neumami 模型。 我们来研究一个简单 
的模型，在此模型中有三种 u 商品：钢铁、粮食和究动力 ，每一 
种商品的生户要消耗这一年以前所生产的一部份商品，经济学家的 
问题是经济能否 （ 和以什么样的速度）发展。假设新生产一个单位 
的钢铁要用 0.4 单位的库存钢铁和 0.S 单位劳动力，一单位粮食要用 
0.1 雄位粮食和 0. 7 单位劳力，而产生（或维持）一个单位劳力需要 
0.8 单位粮食， 0.1 单位钢铁和 0.1 单位 劳力。 则输入景和! 0 句 
产出量 S,. / jRM 由下列矩阵联系起来： 



\ L a ' 1 0.5 0,7 0.1 [hj 
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i ' U . 这个差分方程足反向的！代替 = 我们有所 
以的特征值必定比 A 的特征值更能支配经济的发展，但是这个 
I ' VS 还有第二个曲折，因为钢铁，粮食和劳动力不能出现负的童： 
von Neumann 想要求出速度《的最大值.以此速度，经济可以发 
肫而丨 L 保持非负，即 w 0 a 

如恥从 钢铁，粮食和劳力的一个 向量％ 出发，至少到为止 
这些不等式均成立，则由〜开始的下一年至少生产或至少足 
« 2 «。。于是经济至少可以以速度 a 继续发展。当然如果最大可能的 
«小于】，它必定与经济发展相矛盾-一而且如果 A 是一个 Markov 
矩阵，则将有一个平衡状态，这时 a = 1 ,事实上， von Neu- 
mann 的理论非常接近 Markov 的理论，因为在这两种情况下，矩 
阵 A 都足非负的 一一 这保证了它的最无特征值 h 足非负的，从而它 
相应的特征向量的分量也如此.在 Markov 的情形下，因为1 = 1 
所以在每种情形中 f 我们都有因为 von Neumann 
证明了给出最快发展速度的总是非负的特征向量。在本例中; U= 
所以它的发展速度为特征向量是 

/ 0.2 ) 



/0.4 0 0.1 

而 a j 0 0.1 0.8 

0.5 0.T (}.] 

练习 5.3.9 用经济术语来解释为什么增 大“消 耗矩阵 w Aft 
仟4元素都必定增大它的最大特征值 ； U ( 从而减缓发展速度）？ 

例3 Leonlief 的投入-产出矩阵 D 与 von Neumann 不同， 
Lcontlef 首先考虑了在单独一年内的生产和消耗。’它的投入-产出 
系统是数学经济中首先获得巨火成功的理论之一，为解野它，我们 


iH 

I 

| 0.9 
\ 0.9 


O^X 
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保留原先的消耗矩阵 A , 而来问一问能否达到一个给定的生产向泣 
我们能否最终得到 h 单位钢铁, h 单位粮食和 h 单位劳力？为 
做到这一点，这些商品必须生产出一个较大的数量 A , A 和心， R1 
为这些产品的一部分在生产过程中被消耗掉《事实上消耗总量恰是 
Ax , 而纯产品是欠一办.. 

问鼷求 x 使得 

jc —Av=y 或 x =( J ~ A)~ l y 
表面上看，我们仅仅是问是否可逆，但是对这个问题仍然存 
在非负的 要求： 我们假定所求的向量 y > 0 ， 而且要求产品向 ft 
于是实际的问题是是否 （/— a ) _1 有非负的 元素； 因此乘 
积 (i—Arv 将大于或等于零，从数学上看，对给定的一个具有最大 
特征值 幻的消 耗矩阵。此理论关键的绪 果是： （f—Ar 1 是非负的 
:!1且仅当； u< u 在此情况下，这种经济可以生产商品的任一种组 
如果特征值纪正的，则产品多于消耗。 

例设 A =[ 3 ^ j , 这使 得也产 •一单位钢铁消耗两单位粮 

食，生产一单位粮食消耗两单位钢铁，则我们什么东西也生产不出 
来 I 这最大特征值是夂= 2 . 而且 

( J — ^)"* = —yl ^ j 每个元素都是负的‘ 

* 习 5.5. 10通过遂项相乘验证 （ f —A) . ( l + A + A a + -) = 
I 这个无穷级数表活 G — Ar 1 , 倘若它有有限和且 A 非负，则这个 
级数也是非负的.而保证它有有限和的条件是; l ,< 1 . 对消 耗矩阵 
f Q 1 1 \ 

A 二 0 0 1 

0 0 0 ^ 

将此级数求和，并验证它等于 ( J 一 A ； T 、 

Leontief 理谂的思想核心在于找出一个来源于实际经济的真 
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实 数倨的 楔型来；〗958年美国官方统计衷中包含83种工业， 其屮每 
—种都提出一个究整的产品和消耗的"交易农"。而理论本身也扩 
搣到 （/ — A) _ 1 以外，去决:定自然价格和最优化 问题； 通常.劳动力 
应作为 •种 原始商品而单独分出来，而它是有限制供应而且应是极 
小化的 ，.另 外经济3然不总是浅性的。 

§5.4 微分方程和指数函数 

无论你解什么样的方程组，那怕是一个单独的方程，矩阵 H 论 
总冇它的作用《对于差分方程这是对的，这时其解依赖 
于 A 的幂。 对微分方程这同样是对的，这时它的解 
赖于 A 的指数函数。为定义这个指数函数并解释它，我们先讨论一 
个例子 


I— 门_;卜 ⑼ 

笫一步总是求特粧值和特征向量： 

o) [: H: 卜 a 

然后有几种得出相同答案的方法、大概最好的方法是写出一般解， 
而后使其满足 t = 0时的初始向量: 


«(0 ： 


] 1' 

: cieAiOCi +c z e^ttx l =ci«" j +W S, 

, 3 J i - i - 


(24) 


r 11 r it r i nrc/ 

{HR」U 


你们可舂出特征向量矩阵 s 


，而且系数[:: 卜 、与差分方程 
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足相同 的， 把它们代回 （24) 中去 f 问题得解.用矩阵形式来写，这 
个解是 



这就是本节的基本公式:货" S- 1 ^ 是微分方程的解，就如 Sy^S_ 

是差分方程的解一样.关键的矩阵是 

现在我们可以馒慢地来讨论。 

芜于这个例子还有两件事要做，一是完成这个理论的数学部 
分： 给出指数函数 ei 的直接定义，使其与公式 SVS** 1 相符„另一 
忭给出这个方程和: R: 解的物理解释。这是一类很有用的微分方 

首先，■我们由指数函数着手。定义它的最自然的方法是仿造/ 
的幂级数 

C ，= 1+X + g+ 吾+〜 

而 


e A， = 1 +At + 




M 是一个 nXft 矩阵，它的微分是 


去（ 〆 ） 




+… 


= a ( J + AH- (考厂 +...) 二 A# 

所以下列结论自然是正确的 ： 是这个微分方程的解：当 t = 0 
时，它得到初始向量如，而且它满足方程 
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于是它必定与我们的另一个 Ms〆 1 s〃 H 。 相等，为用更直接的方式 
来证明这个相等的关系，我们 IU! 顾 一F A=S/S 〃的 幂为= 
《SJS-D — CSZS— DcSAM - 1 , 丁 •是关于指数函数的无穷级数成为 


WH + sHt 


SA^S-'t 2 SA s S~H s 

— „ H- - 3， - 


= s( , + . 奸 _^. 4 ^_ 


=Sd 1 

这就完成了数学部分，这些结杲汇总如下 

51若 A 可对角化， A=S^S-*, 则微分方程 du/df = A« 右解 
u{t')^e A, Ut : ^Se J ' *S' 'ho (25) 

S 的列是 A 的特征向量，使得 

f I 

u(t) = \ jS— 1 u ( | = cieAiOj 1 +..‘+c 11 e;.*f;< 11 

(26) 

—般解是特解 WfOSi 的一个线性组合，相应于初始条件 h 的系数 Ci -;i 

c = S _1 « 0 . 

这与差分方程是完全类似的一一读者可与 5G 比较一下。在这两种 
情况下我们都偃定 A 是可对角化的，不然的话它只布不到 n 个特征 
向量，从而我们不能找到足够的特解。丟失的解是存在的， B 它们 
比指数更为复杂，它们涉及“广义特征向量"和如这样的 
因子.但逛公式 w(t) = d'w [ •仍是正确的\ 

现在我们转向讨论这个例子的物理意义=它很容 M 解释，同时， 
是很宽要的。这个微分方程描述了一个扩散过程.它可以想象为把一 

- ii 3不完备的 Wife 放在附录 B 中，但是®容易给出一个例 - T - I 苫 y = 
〆=!), Au ^ u Oflfi At^ 

〔：：〕 
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个无限苌的筒管分为四段，其中中间两段是有限的，两端两段是半 
无限的（图 5.1 ) 


明 传掻棋 33 

在 t = 0时，两个有限段落中包含有某种化学溶液的浓缩物 h 和 
W 0 „ 与此同时，在任一时刻，两个无限部分中的浓度总是零，因 
为它有无限体积，这将是对这些无限段落中平均浓度的正确描述， 
即使化学物质开始扩散以后也是 如此。 扩散从 t = 0 开始，它受下 
列法则支配：在每个时刻 t, 两个相邻段落之间的扩散速度等于它 
们浓度之差，我们设想，在每个段落中间，浓度保持均勻，这个过 
程在时间上是连续的而在空间上是不连续的，在两个内部段落5 1 和 
Si 中只有两个未知量 w (t) 和 W(t). 

浓度 y 依两种方式 变化： 扩散到左边的段落5。和扩散到 &或被 
S: 扩散冋来.于是净扩散速度是 

~^ = (av —1^) + (0—w) 


因为 S , 中的浓度永远是零。类似地 


J^_= (o— iv) + (y—iv) 

于是方程钽恰与我们的例子 （ 23 ) 相符 s 

2y+w1 r -2 I 

-2 vv J I 1 -2 

特征值 _1 和一 3 将支配解的状态.它们给出度降低的速度 f 而且 
心将足更重要的，因为只有一些特殊的初始条件可以导出以的 
速度 •■超 衰减 ". 事实上，这些条件必定来源于特征向量 
而它的两个分量是符号相反，如果实验仅允许非负的浓度/超衰减 
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是不可能的而且最终速度一定是‘。以此速度衰减的解相应于特 
征向量 （1,1), 于是当 t— 〜时，两个浓度将接近相等。 

对此例有一个进一步的 说明： 这个例子是对一个由偏微分方程 


5w b z u 


u(0) = w(l)=0 


所描述的连续扩散过程的一种，是对只冇两个未知数的不连续情况 
的近似.通过保持两个无限段落上浓度为0，而 1L 把管道中间部分 


越分越小，长度力 h =4的小段落来逐步逼近它。这个興有 JV 个未 
知数的离散方桓组由下列矩阵决定： - 



Au 


这恰是在1 . 6 节作为 ( 与^ ; 反9 ) 的一个逼近而构造的有限 
差分矩阵。化学上更小心的观察将引入 一个纯 量因子所以令 
卜。 和 JV—M 时，我们导出偏微分方籾 du /3 i 它就是著 

名的热传导方程。它的解也仍可扩展成这个问题的檢^模式：但它 
们不再是具有 N 个分量的特征向量，而是特征函数。亊实上它们价 


是函数 sinmrt 而热传导方程的一般解则是 


w ( t ) ~ 2 Clt€ ~ n2;rSf sin^^ 

™ - 1 

系数 C •仍然由初始条件决定，而且衰减速度是特征值; U =— 

练习5 . 4 . 1计算上述例子中的2 X 2矩阵,并证明当 t > 
0 时它的 元素是正的.任何由正浓度开始的试验仍保持正的：苦 
« 0 > 0 ,则 W 0 > 0 • 

练习 5.4. 2假设在扩散方程中，时间方向被颠闽过來： au/dt 

• 当 A 的对卬 G 上方兀素; G 正的时谀是如此。 
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变成 dw/d( —0 = 或 



计算 W(0 并且证明当 t — oo 时，彳 t 替衰减是扩大起来 „ (在连续的 
情肜中，当我们离开 f =0时这种扩大立刻出现，热传导方程在时 
间上是不可逆的，从而你不能使分子的扩散恢复原 状！） 

嫌习 5.4. 3为造一个连续的 Markov 过程.我们堵塞无限段 
落 S, 和 S 3 , 而得出方程 


dv 

~d7 


div 

~dT 


或 I 二厂 % = Au 

I I - ), 


求其一般解，满足初始条件 〃 = 3 和 1 1的解以及当 t 的稳 
定状态.注意微分方程的;I =0相应于差分方程的 A = 1 ( e 0, = 1 ) 
而旦它的特征向量支配稳定状态. 

练习 5.4. 4用一种不同的方法来导出公式 w (0= 此〜厂 1 % , 
即在微分方程 dWdt = Aii 中换变求新的解关于 y 的 
背程然后再回到》来， 

练习 5.4. 5 假设你可将 A 对角化，由 （25) 证明 
用一个 2 X 2 的反例证明，一般说来#-# 今 数字指数法则. 
在矩阵情况下失效. - 


微分方程的稳定性 

与差分方程一样，当 t—oc 时，决定《0)将处于什么状态的是 
特征值 s 只要 A 可对角化，则这个微分方程将有 n 个纯指数函數 
解，而且任何特解 wO) 是它们的某个线性组合。 

«(t)=Se ,I *S' 1 M [ , = e 1 eAi(A： 1 H — +c,eA«i；>： 垦 

其稳定性受因子一。的支配.若它们都趋 T 零，则 w(t) 也趋于零： 
若它们都保持有界 t 则 w(f) 也保持有界：而且若它们之一膨胀变 



大，则除丁非常特殊的始值条件外，其解也膨胀变大.不仅如此， 
因为的大小（或者说是模）仅仅依赖 TA 的实部，故支配稳定 
性的仅是实部：若 A =«+ ij 9, 则 

W - _=e a, ( cos 负汝） IL \e l, l =e” 

当《 < 0 吋它衰减，则《 = 0它不变> 油当 a > 0时它膨胀变大， 
而虚部3 则产生 纯粹的振动„对任何可对角化的 A ,这就证明了 ： 
5 J 若所打 Re 人<0,则微分方程是稳定的且0 ; 
若及 f 釘 KeKO , 则它是屮性稳定的且有界；而当至少有一个特 
征值冇 Rd > O f 则它是不稳定的且 e / 无界„ 

例1 


I — if — I ] 一 [:] 

A 的特征值满足 

.—/*. — 1 I 

IA - A/I = =尸 + 1 = 0 或 x=±i 

1 — 乂丨 

它们足•纯虛的，所以解应是中性稳定的.事实上， e At 是一个旋转 
矩阵，而 B 解的毎一个分•量是一种简谐运动： 

[ cost f costl 

R w ( t )= e j 4( w D = j I (27) 

sin( cosf J Lsinf J 

此方程描述了一个作圆周运动的点。 

例2扩散方程是稳定的，它的特征值为 ; U =— 〖和;^ = 一 3 . 
供3前面练习中的连续 Marker 过程仅是中性稳定的，其 /I = 
0和 ;I =~ 2 • 这是一个端点被隔断的扩散方程：没存什么东西离 
开这个系统，流到无限段去。 t 

例4在核工程中，一个反应堆当它是中性稳定时，称为是临 
界的； 这时原子裂变与衰减处于平衡状态.较慢的裂变使它趋于稳 
定或半临界状态，而 瓦实际 上要停下来；若有不稳定的裂变它就变 
成为一个炸弹. 
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与差分方程 HI 类似，一个问题可以足稳定的，但在它袞减之骷 
仍允许II m (0 1!可稍微增大一些.我相信这种暂时的增 K 在实际的 
应 m 中是不常见的；衰减通常从0开始。给出一个内积的导数 

去 xT ^[ j di~i Ty+xT m (2g) 

我们可以取 x = y 二 W ，从而找到由符号来确定是增长还是衰减的 
那个 a 

at ：! 1^(0 II ^[-|r]^ + ^ T [-^-]=u- l U T + A)u (29) 

5K 若对所冇非零向量 u, « T U F + A)M <0 ，这意味着 + 
A 的每个特征值均负，则解在每个时刻都是衰 减的。 若 A^ + A 的毎 
个特征值均负，则长度II «(0 II 2 永远是常数，这时没有能量的消 
放，从而这个系统焉保守的。 

例1是保守的，因为如果一个点在一个圆周上运动，则它的长 
度I 3然是不变的， 

为寻求稳定性的一个充分必要条件一^换句话说，一个与 ReA , 
<0等价的条件 一一 有两种可能的方法。一个是利用 Rotith 和 Hit - 
rwitg 的结果，他们在19世纪发现了一系列关于元素叫的不等式。但 
我认为对大矩阵这个办法不是很好的，因为计算机大概可以求出特 
征值而比检验这些不等式更可靠•另一种办法是 Lyapunov 发现，并 
于1 S 97 年 Hurwitz 的工作发表两年之后发表的。这就是求一个加权 
矩阵使得加权长度 || II 总是递减的。如果存在这样一个 

W , Mu ' 必定是稳定的； || 将稳定地递减至零，从而经： 
过 n 次上下摆动之后 w 也同样趋于零， Lyapunov 方法的实际价值 
是在非线性的愦况，那时方程不能求解，但仍可得出一个递减盼 
! 1^(01 I —- 使得不需要知道 《( t ) 的公式便可证明稳定性， 

练习 5.4. 6验证 （2S) 确是内积 
x T y=x t (0;y!(t) + … 

的导数. 
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练习 5.4.7 由 A 的特征值来决:定 dtt / dpAtt 的稳 

宠性， 

练习 5.4. 8山 

的特征值来确定 dw/dt = A M 的解楚否由0起就立刻减小，以及 
B、| 它是否一定递减. 

练 35.4.3 确定 dt(/dt = iv, rfw/dt=u 是否稳定？ 

二阶方程 

扩散法则导出一个一阶方程 d«/df = A Wi 许多其他的应闱，化 
学上的，生物学上的等等也是如此 u f[i 是一个更重要的物理定律则 
不是这样这就是牛顿定律 F = ma, 如速度/是一个二阶导数，惯忡 
项产生二阶方程 （ 我{门必须解二阬方裎 Aw 以代替 du/dt = 
Au ) 而目的是解释二阶导数的变化怎栉改变解的状态。 

恶我们保留原来的 A 



这 种比较 将是很完全的。为了使这个系统开动在 t =0时必须给出两 
个初始条件“ 位移” 《 = 和"速度” = 为满 足这些 
^件， 关于一个》个方程的方程组，将要有2«个而不是 fi 个纯指数 

假定我们用《代替; I ,并写出形如的特解，把这个指 
数函数代入微分方程，它必定满足 

-^ ； r-(e i ， " , x') = ACe i, - ,, x) 或 一 a 2 x=Ax (31) 

向量^必定是 A 的一个特征向量.这与以前是一样的.现在相应的 
特征值是_。\所以频率 a 与衰减率 A 是由法则一 相联系. 


A 十 A 5 
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—阶方程的每 一t 特解导出二阶方程的两个特解 e ‘ B 这两个 
指数是《=±〆！：，且仅当 A = 0时不成立，因为它只有一个平方 
根；这时，如果 x 是特征向量，则两个特解是 x 和 w。 

对于—个真正的扩散矩阵，特征值^都是负的从而频率 o 都是 
实的： 纯扩散转化为纯振动。因子 e ;sl 产生中性稳定，其解既不增 
长也不衰减，而且事实上总能量一直保持不变，它保持在系统内部 
变动.若乂有负特征值 / U ….七且若叫= 7 =17. 则 db/df， 
的通解•是 

K ( t ) = CciC '^^ + diC - + h (32) 

与通常一样，这些常数由初始条件来求出„若把振动指数换为 
芟熟悉的 sin 和 cos 此亊更容易实现（用一个特殊的公式）： 

u(0 = (<3icoE«(+&isintd() ;lt i + ." + (<J,cosai + b,sin«f)\ 

(33) 

现在初始位移与初始速度很容易区分 开来： t = 0表眾 sin«f=0 
和 COS 时=1 ,只得出 


w 0 =(U + *-. + n 或 w 0 =sa 或 a ^ s'^Wo 
位移决定 a 而速度决定微分 w ( i ) 且令 0 , b 由 


«i = bi« H - hb,».JC, 

来确定，代回 （33) 中，方程得解. 

我们要把这些公式用于上面的例子^它的特征值是 h = — 1和 
1 = _ 3 ，所以频率是1和《 2 =八7。如果这个系统由静止开 
始（初始速度是零），则 bsinot 的项不出现1而且若第一个次 


振动由一个单位位移给出，则 W。=(111+(1；^ 引出 
[:卜[:卜 I 」 或 = 


于是其解为 


w(0 = ^rcost 




* 在横向扭曲 问通中 w 阶导*也可能出现，但是白然界_于汶有超过四阶。 
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我们从物理上来解释这个解。这个系统表示两个卓位质量的质 
点，用三个相同的弹赀把它们彼此相连并 JI 与静止的墙连接起来 
C 图 5.2 ) 笫一个质点被推到 h = 1 ,第二个质点固定在适 当的位 
K , 而且当 t = o 时我们让其运动，它们的运动成为相应于两 
个特征值約两个纯振动的平均。在第一种模式中，阏个质点连在一 
起运动而中问的弹货决没有被拉沖 （ 图 5.2 a ). 频率〜与一个质成 
一个弹簧的情形是一样的它等于1。在较快的模式中 A = ( 1 , 
— I ), 它異有反号的分量及频率 〆 了，两个质点反向运动但速度 
相等（图5. 2 & ) • 通解是这两种标准横式的一个组合而我们的特 M 
是毎个各占一半. 



(.} - L. | ] (b) 


m 5.2 振动的两个标准槟式 

随时间的持续，这个运动呈现出 u 概周期 状态。 如果比伉 
是一个分数，两个质点将同时回到1 , « = 0 ,然后全 
过程 S 新开始。 sin 2 t 和 S i n 3 t 的组合有周期 2; r . 但是因为 y 丁是无 
理数，我们所能要求的最好的状态是这些质点将任意迪接近再现挝 
始状态„如果待足够长的时间，它们也可以接近相反的状态 u = 0 
和《=】。就像一个非常光滑的台子上的一个永远来回反弹的台球 
—样，这些质点的总能量是固定的，但它们迟早要以这个能量任意 
接近任何的状态而出现。 

我们在描述了与它平行的连续情况后，再结束这个问题：代替 
两个质点或几个质点，假定它们是连续的。因为离散的质点和弹簧 
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合并成一个固体的小棒，由矩阵系数 i ，— 2 , 1给定的 
分”转化为二阶导数.这个极限状态将用有名的波动方程3 2 «/3^ 
=3 2 m /3 V 来描述。 

练习 5.4. 10 用 5.1 中的对角化来解 



j 1 -J 1 0 、 


2 、 

f 1 

d 1 !* I 
~^~ = \ 

1 -3 0 

|u u 

o=| — 2 

i 

和 «J=[ i 

i 




' 0 ； 

Wj 


练习 5.4. 11解 


备_:卜[:卜 w HoI 

练习 5.4. 12给定一个阻力矩阵 F, 两个单位貭点依 
=- Fdu/dt + Am 来振动.杷一个纯指数〆4代入这个方程并建立一 
个芙于 P 的二次特征值问题 t 

练习 5.4. 13方程 u〃 = Aii 的解仍是 A 的特征向量的一个组合， 
為的 特征向量组成 S 的列向量组•代眷在中出现的 
W。， 验证下列解 




S - l M 0 


COS^nt ' 

Csinw!()/«! 


(•5]no) a f)/o) L 


满足微分方程和所给初始条件， 

练习 5.4. 14:对课文中的例子，如果第一个质点在 * =0时满 
足… ] 和 = L 求第二个质点的运动， 
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§5.5 复的情况： Hermite 矩阵和酉矩阵 

仅仅用实向蛩和实矩阵是千不了多少亊情的。在本书的前半部 
分，当基本问题是时，只要 A , b 是实的， z 当然也还是实的， 
因此那时并不耑要 复数： 复数也可以使用，但不会得出什么新的东 
西.现在我们就不能回避它们了 a —个实矩阵它的特征多项式具有 
实系数，但是它的特征值坷以不是实的（如; T + 1 = 0 ) , 

于是我们将介绍符 ft 个复分的向量空间加法与矩阵乘法 
将服从与原先相冏的法则.但向量长度的定义必须改变，不然異存 
分量（1， i ) 的向量的长度将为0: 1 4 +卩=0。长度计算的改变 
带来了其它一系列的改变。两个向最的内积，一个矩阵的转置，对 
称矩阵，斜对称矩阵，正交矩阵定义等在复数情形中都要改变.而 
每一种情形中，当向 蛩和矩 阵是实的时，新旧定义将是一致的， 

我们在第255页列举了所有的改变，这驻列举实际上 r 总成实与 
茇网种情形转换的一部宇典。我们希望它将有助于读者。对每一类 
矩阵，它也包含了它的特征值分布的最隹信息.我们特别要指出对 
屮对称矩阵，它的特征值在哪里及它的特征向量冇什么特性等， 
从应用角度来看，这是特征值理论中最重要的问题，于是这也是最 
m 喪的一节„ 

复数和它的共轭 

读者大概已经熟知复数了，因为只需要最重要的基本性质，所 
以很容易给出一个简短的介绍_ . 毎个读若都知道 i 是什么.它满 
足方程 i 2 = — 它是一个纯虚数，而 J 1 若 b 是实数，则它的倍数 ifr 
也是纯 虛的。 一个实数和一个虚数的和是一个复数 cr + ib ; 而且把 
它自然而然地画在复平面上 (:图 5.3 ) 

实数（对复数中 b =0) 和虚数 ) 作为复数的特殊情 

的思法 共扼和 8 E . 
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fl + ib 的复共轭是数也就是虚部变号.从几何上看，它 
是在 实轴另 一侧的 镜象: 任何实数是自共轭的，共轭用加一横来表 
系 ， a +ib = a — ib , 而且它 有三个 性质： 

(1) 乘积的共轭等于共轭的 乘积： 

(a+ib)(cH-id) = (ac—bd) —i(bc+ad)= (a + ib) ^c + id) 

(34) 

(2) 和的共轭等于共轭的和， 

(a + c) + i (b+d) = (u+c) — i (b+d) = ib) + 

(3) 任何复数 《 +fb 乘以它的共轭数 a — 汴得一个实数，它 
愿阁 5,3 中斜边的平方 .. 

(a -J- i(j) ( a —ib)—a 2 -hb i — r !t (35) 
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这个距离，叫做 MS a +仿 的模，而且 C 如一个实数的 绝对值 - 
样，它不会是负的）它用竖线来崁 芾： | o + ib | - ^ = vV + b 1 
fiU , 三角学把其它两边与斜边如下式联系起来： 

a =\/ a^ + ^cosO^ b —v" a i + b i siaO 

把这两个方裎组合起来，我们得到极坐标形式 ； 

a+i6=\/o 2 +fc"(cosO+ i'sin(3) = re it, (36) 

*一种重要的特殊 情况： 当模 r 等于1时，这时复数就是 e i5 = 
co^+isM, 而且它位于复平面的单位圆上.当0由0变到 2 兀时， 
这个数 0 ie IS 绕原点以固定的半径 le iS l =v/cos s 0 + sinM = 1转 
—周， 

练习 5.5.1 对复数 3+4 i 与 1— i . 

(a ) 找出它们在复平面上的位置 * 

( b ) 求出它们的和与积。 

( c ) 求它们的共轭数与模 s 
它们在单位圆的外部还是内部？ 

练习 5 . 5 . 2请你回答下列问题 

G )— 个复数与它的共轭数之和是什么？ 

( ii ) 一个在单位圆上的数的共扼是 什么？ 

( iii ) 单位圆上两个数的乘积是 什么？ 

( iv ) 单位圆上两个数之和是 什么？ 

练习5, 5. 3验证两个复数之积的模等于它们模的积： 
[( a +!&)( c + id )| = | a + ib [ * | c + id | 

或 ！0 e iS )( R #)!= 戊 

在复的情况中的长度 和转霣 

我们回到线性代数来并从事由实到复的转换。这第一步是承认 
复向量，这是不成问 题的： 按定义，空间0_包含了所有具有 n 个复 
分量的向量 x : 

- s ： i ) 

* = : f xj = a , + ibj 
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向董 x 和 y 相加时分量对应相加，但数乘时要用复数去乘。同以前 
—样/向董〜…， 〜是 线性相关的，如果某个非平凡的组合 
… cp, 得出零向量的话，其中 C, 现在可以是复数.单位坐括向量仍 
在 C- 中：它们仍是无关的，而且仍构成一组基。于是 C •也是一个 n 
维向貴空间. 

我们已经强谪指出长度定义必须改变；因为一个复数的平方不 
一定是正的，从而卩X II S =M + …+ 4不能使用„新的定义完全是 
自然的 t 被它的模 Mii 2 代替，从而长度满足 

II X | 卜 M 念 +…+ s (37) 

在二维情形中， t 

^ | JL II X || s =2 

>" = [ 1 Jl y II a = 25 

L 2-4i J 

对于实向量，在长度与内积之间存在着密切联系： || x || ! = 
这种联系我们希望能保存下来。于是内积必须修改以适应长度 
的$定义，而标准的修改是在内积中第一个向量取共轭 。这 意味着 x 
被代替， x 与 y 的内积变成 

x T y=Xiyi + - \-x,y t 

C 1 中一个典型的例子是 



x r y=(l — i)4+( —3i)(2 —i) = l—10i 
从而如果我^取 * 为其自 身的内积，我们重新得出长度的乎方： 
?x=Tmr(l + i) + (^y(3i) = 2 + 9= ||je[l* 

注意与7巧不同；从现在起，我们注意内积中间量的顺序，而 
且还有进一步 p 新奇现象； 若 X 换为 CX : 则X, y 的内积不是用 c 
去乘，而是用7去乘， 

还剩下一个改 变要去 做。这个改变在概念上没有任何其他的东 
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沔， 而是把两个符号合并为 一： 代替失于共轭的一横和关于转置的 
T , 这两种运算合并成共板转置，而且用大写的 H 来表汞 《 于是 
? = # , 而且同一个符 号岜用 在矩阵 A 的共轭转置是 

A r = A w 它的元素 （ AU 产乃. (39) 

十则 A 打楚 uxm 的，例如 
/2 +f 3 i / r 

I f 2 — £ 4 + i 0 1 

I 4 -i 5 !- 

l 0 ol l_3i & ° J 

这个符号义《给出下面确认的事实：对复元素的矩阵来说，我们难 
得只要求 A 的转 S s 在每个实际情况中，它是共轭转置或 Hemrite (埃 
尔米特)转置,变得更为适当'复数所要求的修改很容易总结如下： 
5 L 的内积是如果^^=0它们是正交的。 

( ii)JC 的长度是 II * II ^{ x tt xy k 
( in ) 法则在每个元素取共轭后，变成 Uft ， 
. . 

练习 5.5.4 求 JC =[ 2 忑=[3 +4£ ]的内积和每个向 

#的长度. 

缠习 5.5. 5 ^ A ° ]写出矩阵并计算 C 

与什么关系？畀 C 是由某个 A ff A 构造出来时，这种关系是否 
仍保持？ 

练习 5.5. 6 ( i ) 对上述的 A , 用淸去法解 >4 x =0 , 

( ii ) 证明刚刚算出的核与深 ( A ， 正交而与通常的 
行空间 K ( A F ) 不正交 „ 在复的情形中，因个基本空间是 - T ( A ), 
淨 ( A ) 以及和深 U ，。 

Hermite $_ 

在前几章我们讨论了对称 矩阵； A = A \ 现在而对复矩阵，对 

• 矩 阵^忍 故称 “ AHermitt ” 。遗«的是不得不注意这个叫法与术语是 
圯阵”之间的区别，幻者® 味常 等千 
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称的想法必须被扩充。正确的推广不是与它的转置相等的矩阵，而 
姑与它的共轭转置相等的矩阵.它们是 Hermite 矩阵，一个典型的 

例子是 f ? 3~3 il 

A= (40) 

U+3i 5 J 

注总：对角线元素一定是实的；因为它们在取共轭的过程中不能玫 
变。对角线上方的每个元素与它关于主对角线^像相配对，这两个 
元素是相互复共轭的。在每一情形中都有= 而且这个例子 

将非常淸楚地解释埃尔米特矩阵的四个基本性质。 

我们主要的目的是建立这四个性质，而丑特别要再次强调指 
出： 它们同样适用于实对称矩阵，而后者是埃尔米特矩阵的一神特 
殊而又最重耍的情况， 

性质1 gA = A H , 则对所有复向是实的. 


^Ax—i 


2 

’ ,3 + 3 i 


nr «■ 
. L y , 


= 十 5Vu+(3-3i)It；+(3 + 3i) ^~v 
每个 " 对角线项"足实的，丙为 2 l K = 2 叫2而且51^=5 M \ 
对角@上方的元素与另一个是共轭，所以它们加起来得到 （ 3 — 
3 i )! T « 的实部的两倍 . 于是的整个表达式是实的， 

力给出一个一般性的证明，我们可以计箅我们应对 
1 XI 矩阵 VAX 取共轭，但我们实际上重新得到同一个数 
= x « A s ^ as ^ x B Ax s 所以此数一定是实的 • 

性 m 2 —个埃尔米特矩阵的每个特征值都是实的。 

证设 A 是一个特征值，且X是一个相应的非零特征向量： 
H1V 乘等式 两边： 等式左边由性质1可 
知是实的，而右边 x 〜=II$ r 是实的且是 正的， 因为〜与0 ,于 
-是又一定是实的.在我们的例子中 


i 2 — A 3 — 3 i 

lA-AIt =, =；.*-7；.+ 10- ]3-3 i | & 

'3 十 3 i 5 -A 
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=A s -7/1-8 = (A-8)(A+1) (41) 

性质 3 Hermite 矩阵的特征向量，若它们对应不同的特征 
值，则它们彼此是正交的. 


由已给条件， AP 。 Ax=Aj^Hermite 
的置是= Ix s , 但因为由性质 2, J 是实的， 
所以它实际上对此方程右乘 y ,对另一方程左乘 
我们得出 * ff v4y=Ax V 和 A^j4y=pjc fl y 

十是;因为 A — P ,我们 断言 # y = 0 : *与少正交， 
在我们的例子中，>^ = 8：«且次^= 一7, 

特征向量可用通常的方法如下计算 


(j 4—8/)x = 
( A+/)y = 



这两个特征向量是正 交的: 



十 i 



X a y—i 1 


1-0 



o 


当然任何倍式 x/a 和 y/ 石也同样是特征向量，设我们取《 = 
II * II和彡=II y II ,使得 x/cr 和是单位 向量； 这时特征向量被 
单位化.因为它们已是正交的了，所以它们现在是标准正交的.如 
果选取它们作为 S 的列向量组，则我们有5_ 1 八5=>^对角化’矩阵 
S 有正交单位列向量组 • 若原来的 A 是实对称的，则它的特征值和 
特征向量是实的,于是单位化这些特征向董使 S 成为一个 3E 交矩阵， 
—个实对称矩阵可以用 一个正 交矩阵 (3 对角化. 

. 在复的情形中，对具有单位正交列向量组的矩阵我们需要一个 
新的名称和新的 符号： S 叫做酉矩阵，记力实正交矩阵满足 
Q T Q = 与此类似，标准正交列向量的性质转为 
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u n u=\ —— T 

丨 —— 

- x ,- ' 

或 (42> 

它引出埃尔米特矩阵最后一个特殊性质 

性质4 若乂=4\则存在一个对角化矩阵，它本身是酉矩 

阵， S = U ： 它的列向 fi 组是标准正交的，而且 

V ~ l AV = U lI AU = A (43) 

于是坎尔来将矩阵可被分解为 

+ + … (44) 

这个分解叫做谱定理。它把 A 表为一维射影的一个组合， 
它们与第三章中的射影 aa 5 ■是类 似的。 它们把任何向量 b 分解成它在 
单位特征向量方向上的分量 ) 。这些单位特征向量是一 
组两两互相垂直的柚 。 这呰单独的射影 P 被赋以权再重新组合 
成 

+/ S , x,«tO (4 S ) 

若毎个 A ; = 〗 ， 我们重新组成&本身 ： 是单位矩阵„在任何 
—种情形中我们均可用矩阵乘法直接验证 (44) 和(犯） ： 

Ab = UAU i ! b =\ J , ' J ,) | \ | ^— 

^ M l \ ^ 

• 1 卜 I ' 

- 
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在我们的例子中，两个特征向觉 Z - 


fu y . 


H 度都 


处 Vi , 单位化后得出一个使 Af 角化的酉矩阵： 


1 一 i 


u-’ 


U~ l AU^ 


\/ 3 L j +1 — 1 J 

于赴 谱分解 + 入 心 ㈤ 成为 

s | 


,8 C 
. 0 -] 


} l J -°-^[ 

:「 3 — 
l 3 + 3 i 5 J 


〔 j+i ~n 


练习 5.5.7 写出一个非 Hermite 矩阵，甚至是实的，并求一 
个 t 使戈^&不是实的 （ 只存 Hermite 矩阵有性质1 )。 

练习 5.5. 8求 A =[^ j j 的特征值和单位特征向量•计算 

矩阵夂 和; U 〜4 . 并验证它们的和为 A 且它们的积为 0( 为什么 
(A] x ) (As JCjxf ) = 0 ? ) 

练习 5.5.9 用 5.] 中算出的特征值和特征向量，对矩阵 
1 -3 0\ 

A = -1 2 -1 

0 — 1 11 

求使 A 对角化的酉矩阵及 A 的谱分解. 


综习5 . 5 . 彳0 证明任何 Herm j te 矩阵的行列式是实的， 

对谱定理及性质4的其余内容仅2 A 的特征值是两两不同时给 
出了证明 （ 这时它们当然有几个无关的特征向跫而且 A 伢定可对角 
化）.似是下列事实也是正确的（见 5. S 节）： 既使有重的特征值， 
—个 Hermite 矩阵仍有一个完备的单位正交特怔叼量组。于是在 f [- 
何馆况卜' A 均可由西矩吒 U 对角 化. 


把实特征值与正交特征内 lim 合起来的只能楚 Hermite 矩阵， 



如果 (/ MAC / 是一个实对角阵且(/进酉矩阵，则 A 必定是 Hermite 
的： 

A n =(UAU- i ) I, ^UAU H ^A 

对任何数学家来说，这个分解>1 = £7/1^看去是绝对不会改变 
的*它是莲本的，但没有人认为它是可争论的.所幸的是，心理学 
家不同意这一点，或者说彼此不同意.他们设法对谱定理做了很多 
争论，我们将试图作一简短的解释， 但是这一小节可以省略而完全 

不彩 喃内容 的连*性。 

因子分析和主成分分析 


本小节的 g 的是在一组试验数据—— 例如： 一组关于物理 ，.数 
学，历史和英语的考试成绩 - 一中找出某种规律或某种自然的结 
构.这个一般的领域叫做多元分析，在它的子领域中，有些是为了 
外部的目的来组织试验结果的，如预言数据之外的某些事实，而其 
余的则完全专注于它的內部结构. 

(1 ) 回归分析是预言问题的典型 例子％ 我们可以猜出每个学生 
的智商，并问这些考试成增能否 用来预 言智商 （ 或以后用来预言） 
换句话说*我们要找出这四个考试成绩的一个线性组合使其等于# 
商，在这个组合中有四个未知系数，而对每个学生有一个方程.这 
是一个典型的最小二乘问题，其方程多于未知数，而且它不涉及特 
征值。 

( 2 ) 对内部结构，假定数据被简缩写成一个 4 X 4 相关矩阵 
它的对角线元素是1 (每个变元 A 与它本身完全相关），而对角线 
上方元素给出第 i 次和第)次试验结果之间的相关性，例如物理与 
数学之间的相 关性。 则一类分析；它被称为主成份分析，用于寻 
找这四种考试的一些组合，它们之间造不相关的。用线性代 数的语 
言来说，我们要去找出相互正交的一组向量 • 对此，实对称矩阵 Ji 

* « 们 的例子可以说是一种倒退，用智商來预言其它的 亊愴是 M 正规的 • 但是 
这仲预 a 的可逆性，这几乎 a — 种拉去和将来的可逆性，有某押《义* 


. 249 . 



的谱分解则是一个很好的 工具： 若特征向量是 g ,, -94 ,则它们组 
合成一个正交矩阵<?,使 R 对角化： Q' l RQ = A^i 

Ql \ 

R = Q^Q T ^iqi-q,)\ 、、' j ( : 

一 „ WT iq [ ■ . 

Hv^AiVvV-a 〕！ ■ 丨 . 

i 二 

VK 

其中 G 正是我们的酉矩阵.在实际应用中它是实的 4 每个向量 
铪出这个四个考试的一种组合，而这四个特殊的组合是不相关的. 
到此，就没什么可争议的了。 

(3 )我们转到因子分析问题上来。它也是专门从事解释相关矩 
阵非对角线元素的一种 分析。 它试图用比较少的因子 L 来做到这一 
点，而这些仍是原始数据的一个线性组合.但是不能要求它们完 
全说明对角线元素.如果一种考试的成绩，由于考题太难或太容 
易，呈现出一种很窄小的分布范围，而另外的考试则有较广的分布 
范围，那么因子分析就是打算消除这种差别。它涉及芷确得出这些 
相苴依 賴性，而一个理想的情况是把相哭矩阵分解为 




1 

0,74 

0.24 

0,24 \ 



0 

.74 

1 

0.24 

0*24 


R H 

0 

.24 

0.24 

I 

0.74 



, a 

24 

0.24 

0.74 

i ) 



/ 0 

7 

0,5 

) 




0 

7 

0.5 

!r 7 

0.7 

0,7 


0 

7 

-0*5 

lo.5 

1 

0.5 - 

-0,5 


i 0 

7 

_ 0.5 




0.7T 

+ 0,26/ 

—0.5- 
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在这科情形中，两个因子说明所有的相关性.第一个是等于 0.7 的 
一列；它被解释为一般智力因？：数学的好分数和英语的好分数可 


同时取得/而笫二个因子则由数学，物理及英语、历史这两组较弱 
的相关性中，区分出数学与物理以及英语与历史之闻的很强的相关 
性.这是一种 ■■文 理对比 w 的因子.它们是用来解释数据的适当的 
变量，而且它的分置 0.7, 0,5和一 0.5 是这些因子在单个考试上的 
负载.在全部四次考试中，这些因子说明在主対角线上的个体方瓮 
的0,74,它是“公因子方差’ . 即在分解 ii = FF r + D 中 FF 1 ■的_对角 
线元索， 


争论来自两方面的原因_首先，因子矩阵 F 和对角矩阵 £► 不是 
唯一的.我们可把同一个及分解为 

( 0.6 \/0?38 0 \ 


R 


0.6 -/Os 0 
0.4 0 v/oTsa 


0-4 0 v/0758 ) 

0.6 0.6 Q t 4 0.4 \ 


s/0T38 v/0738 


+ D 


0 0 \/08 v /0758 / 


在这里，我们改变了因子的个数，而这些因子没有一个是先前知道 
的*事实上.公因子方差同样是未知的，所以我们可以改变，并 
造出无数个完全不苘的分解.因此对一般智力陚予多大的权以及怎 
样把数理能力与文学能力区分开来则完全是不清楚的. 

引起争论的另一个原因是，即使 DE 给出，其 P 个因子也已找 
出，还个 "旋转 因子”的可能性.对任何 P 阶正交矩阵 G , 因 
i 子矩阵 y = F (? 正好说明与 F 相同的相关性 
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于菇 F 和？ ^ 究全是可以互换的。在一个典型的问题中 J ：! 来的 W 子可 
以在许许多多的变元上有实在的负载，而这样一个因子实际上是不 
可能被解释的。它作为一个向14/,有数学 竞义， 但对社会科学家足 
没有实用的意义.于是他试图选择一个旋转，用它可造出一个简单 
的结构，它在少数的分 tt 有大负载而 在艽它 分量中负载极小， S 至 
为了得到一个正负载而使用斜交的因 子： 在我们关于 K 的第二个分 
解中，正交性厂九 = 0 已不再保持，这样一来，两个专家，每个人 
都估计一组 D, p 和 0, 可能很容易地对相同的数据产生完全不同的 
解释.虽然如此.这种技巧仍是非常需要的，既使多元分析在开始 
时被认为是一个不受欢迎的讨嫌鬼，但是它在从心理学到生物学， 
经济学和社会科学这样一个很广的范围内都有应用。 

练习 5. 5.1〗对同一个 K 求另一个分解 FF T + D 它有什么意义 
没有？ 

酉矩阵和斜 Hermite 矩阵 

我们可否提出一种 类比？ 一个 Hermitc 矩阵可比做一个实数， 
阵比做一个纯虚数，而酉矩阵则看成是单位圆上的 
数，也就是模1复数 6' 对这些矩阵的特征值，上述比较则足一 
个更好的 类比： tiA a = A , A 本身是实的， ^ K I ! =- K , 则是纯虚 
的，而当时它们在单位圆上.对于所有这祥矩阵，它们的 
特征向量是正交的，而且可造成单位正交的*„ 

因为 Hermite 矩阵的性质已给出了，余下的只要讨论 iC 和 t 7。 
我们要找出类似于这四个性质的东西，而斜 Hermite 矩阵 K 与 
Hermite 矩阵的联系是如此密切以至不需要再做什么了： 

5 M 若 if 是一个斜 Hermite , 使得 K H =- if 则矩阵及= iK 是 
Hermite 的： 

__ _ A^ = (i) r, (K)» = (-i){~K)=A 

■ 在下—节中， 我们 把： e 广的一龙矩陴与所冇 a 数的*合对应起来 4 一个没有正 
交特征向 ft 的矩阵不届宁 K 中 的任肘 一类，从 [fl 在这个类比之外。 



类似地，荇 A 是 Hermite , 则 iA 足斜出⑽也的. 

前几页中的 Hcrmi te 矩阵的例子引出 
r 2 ； 3 n 

K- = ~ k m 

L — 3 十 3 i 5 i J 

它的对角线元素总是 i 的倍数（可以是零 ） n ' 

K 与 A 之间的这种简单的联系使性质1 一 4转换成下列性质： 
(10 对住何心是纯虚数 
的每个特征值是纯虚的 8 
( 3/ ) 相应 亍不同 特征值的特征向量是正交的. 

( V )存在一个酉矩阵，使得 

练习5, 5. 12若 JC 是斜 HermiteW , 你如何知道 K — I 是非竒异 

的？ 

练习5, 5. 13造一个任意的实矩阵 X 和实向量 A 验征^ 

0. 解释怎样由性质 〆 来得出这个性质。 

练习 5.5. 14每个矩阵 Z 可分解成一个 Hermite 矩 阵和一 个斜 
Hermite 征矩阵之和 ， Z = A + K , 正如一个复数 X 分解为 a + ffc — 
样。 z 的实部是 z 十7的一半，而 z 的•■实部"是 Z + Z K 的一半.对 
"虚部” K 找出类似公式，并将 

- r : ?1 

分解为义+疋。 

现在我们转向酉矩阵。它们已定义为具有单位正交列向量的方 
砗： 

£/"[/=/ 或 [/[；« = / 或 £^ = £/叫 (4 G ) 

这直接导出这些性质中的第一个 ： 用 U 去乘不玫变内积，角度及长 
度，这是我们 B 知的正交矩阵的一个性质.现在我们转到复的情 
况，而证明和实的情形一样. 

性质 1 {Ux,y{Uy) = )1 s = Ua：|| 2 * 

* 当内枳 不变时 fe® 就不突， 《 要取 >_ = j： 郎可- 
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与 2 和 2' 类似，下一个性质给出 U 的特征值所在的位置《 

性质2 " C7 的每个特征值有摸 W =1 
这直接由仍=叔通过比较两边的长度而得出：由 H Ux || == 1| x f 
且 llhlj = Ml II x || ,于是 Wl =1 

性质3〃 相应于不同特征值的特征向量是正交的. 

性质的证明由 C^=；U, = 入手，它们的内积是 

(Ux) ^(Uy') = (Ax) R ay s%x H y= {?i.a')x a y 


若 a 等于 1 我们将布 r <7= T >= U| s = l -但因为 a 本等于 A , 我 


们知道 — 从而只能是; c « y =0, 

把这些特征向量单位化，用它们组成 S 的列向量，这个对角化_ 
矩阵成为一个西矩阵一■不要与被对角化的 U 相混 淆！ 

性质若 U 是一个酉矩阵，它有一个对角化矩阵 S , 其本身 
也是酉的： S- 1 US=S 1I US=A 

所有四个性质都可以用旋转矩阵 


Ud 


0 = 


cost 

sint 


— sin ^' 
cost . 


来解释。它们的特征值是 e » 和 e _“ f 它们都是模1的。特征向量是: 


UM:] 


. 它们是正交的，单位化之后它们并成一个西矩阵 s r 




l / i /2 

■ f / v^T 
旋转当然保持长度不变. 


1 

, -f 


i / v ~JL e -** h/^T - iU ~J 

\\ux II - fj « II ，而且第 234 页上的例子 i：i 


这个特殊的 U 作为一个斜 Hermite 矩阵的指数函数是相同的。 


f 0 —n f cost —siaH 

若 K = 则 e Kt ^\ 

t 1 0 J Lsinf cos/J 

现在我们希望把每个 K 与一个 U 联系起来： 

5 N 若 K 是一个釔 Hermite 矩阵，则 e 〃是一个酉矩阵。于是 d « 
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解与它的始值 I 存相同的长度 ： 

II u(0 11 = |1 e^» 0 I! = II ».!!. 

最简单的证明是先将 k 对角化：对某个酉矩阵 s 和纯虚矩阵 
K=SAS~ l , 则 eA 是一个具有对角元素 eA lt , …， e 』_t 的对角矩阵， 
它们的模均为1。这样一个矩阵是酉矩阵，于是 eKhSeAS" 1 是三 
个酉矩阵的乘积，由下列的练习可知，其积本身也是 酉的。 

«习 5.5. 15证明若 U 和V是酉的，则也是酉的， 

练习 5.5. 16证明一个酉矩阵的行列式是模为1的， Idett/f 
=1, 但行列 式不一定等于1。给出所有的 2X2 对角酉矩阵。 

练习 5.S. 17求第三个列向董使得 

i/VT iA/T ' 

u = — 

1/V 3 0 

v iA/T i/s/T i 

是酉的，这个选择有多大的自 由度？ 

练习 5.5.18 将 K = 对 角化。 计算并验证 

这个指数函数是酉的 s 它在* = 0时的导数是什么？ 

嫌习 5.5. 19描述所有 3X3 的同时是 Hermite 和酉的对角矩 ■ 
砗*这样的矩阵有多少？ 


实与复的对比 

=具有《个实分向量空间 = 具有《个复分量的 
向量空间 

长度： 1|太|| … 

长度， \\ xV = ] Xl | 2+ … + | x ,| * 

转置 ： Afj = Aji<—>Hermite^M : A r Jj=Aj i 
(AB) r = B T A T <-~^(AB) a =B B A B 
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内衫 l: = n + — -> 内积： x !, y=>-iyi +**- 

+ x ■: v , 

LA，;） ] y = a ; r (A J， y) <->{ Ax ) 11 y x !! (, A } I y ) 

正交性： X T y ^= 0 < —>正交性： X H y —0 
对称阵： = -― nermi te 矩阵： A 11 —A 

实的，每个特征值是实的，而且 

A ^ UAU -^ UAU 11 ^ 

斜对称阵， — 斜 Hemiite 矩阵： K»^~K 
是虚的，每个特征值是虚的且 K=iA 
正交阵：或矩阵： U fl C；=J 或= 
(<?Ji) r (<?y)=^ T y-a || Qx II = I] ^ [1 —>(取） 气 Uy)=.c y 且 
il Vx \\^\\x [| 

它的行.列和特征向量是单位正交的 f 而且每一个 Ul =u 

§5.6 相似变换和三角标准形 

在 这一章 中的每一步实际上都涉及一个组合 S_ l AS, A 的特祀 
向量位于 S 的列向量 组中。 当 A 是埃尔米将和斜阵时， 
我们用 U 代替 S, 它用的特征向量是单位正 交的： 但它仍是特征向 
S 矩阼。现在 f 在这最后一节中，我们来考察另一些组合 M^AM 
—与 S— 1 AS 用相同的方式组成，但是使用任意的非奇异矩阵 M, 特 
征叼 fi 矩阵可以不存在，或者我们可能不知道它，甚至我们可以不 
打荈使用它。 

首先回忆一下*这些组合是怎样引起的是一件有价值的事 a 给 
定一个关 于未知 fiu 的微分方程或差分方程，假定一个"变童替换” 
W=My 引进一个新的未知量 y。 则 

变成力 M-^-=AMy 或 ~^~=M~ t AMv 
«. + i- Au k 变戊为■或 y. + 1 =M- ] AM^ 
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在方程中的新矩阵是 AT 1 4 JW , 在 JW = S 这种特殊情形下，方程组被 
分离开来而且正规模式被独立地展开.用附录 A 的语言来说，特 
征向量被选作空间的一组新基，而原来的变换被班示成一个对角矩 
阵;送是最大可能的简化，但是其他的不那么有力的简 
化也是有用的；即使 M 年 S , 我们也可以期望 M — 比>1本身更 
辤易使用。 

首先，假定我们考察所有可能的 M , 这就产生一个矩阵 Md/UJ 
的族 • 它们被称为是相互相似的（且相似于 A ) :由 A 到 M _ l AM 的 
变换称为一个相似 变换。 这些矩阵中任何一个都可以通过变换《 = 

出51 在此微分方程或差分方程中，所以它们应该有某呰东 M 
是共 N 的，而且 确有： 相似矩阵有相同的特 征值. 

50若^二财^乂財，则 A 和 B 有相同的特征值，而且每个特征 
值有相同的重数。 

证明是很简单的， B 的特征值是下式的根 

detCB-zlO^cIetCM-UAf-O^detCM^'U-^M) 

= detM- 1 detU-i/)detAf 
= det(A — A /) (48) 

0 为乂和 B 有相同的特征多项式，所以它们有相同的特従值.若《是 
对一个给定的 A 的特征向量，则 

乂* = ；U 或 JWSM-S =私或 B ( M — 1 jc ) = a ( M _ 1 ；«) 

这又一次证明了 A 也是3的特征值——而且相应的特征向量是 M -4. , 
M < AM 正是在解/^ = &过程中产生的；在那里基本的运算是 
用一个矩阵去乘及 （ 只从左边去乘）使得从一行中减去 另一 行的一 
个倍数。这样一个变换令4的核和行空间不变，但对求特征值没打 
任何作用〗与此相反，相似变换令特征值不变.而且事实上这些特 
征值通过一系列简单的相似变换而实际被求出 t 这个矩阵一步步地 
变成一个三角形矩阵，而特征值先后出现在主对角线上（这样一 
系列变换在第七章中被描述，而且在下面第二个练习屮解释了这个 
步骤） D 这个方法比直接计算多项式 det ( A ~ M ) 要好得多（这 
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个多项式的根就是特征值）。在实践中，把全部的信息都注入多顼 
式，然后再从中得出它来，这禅做是不可能的。 

练习 5.6.1 证明若 B 通过 M 与 A 相似，而 HC 通过相似 f 
则相似 a 什么样的矩阵与单位矩阵相似？ 

练习 5. G .2 考虑一个任给的 A 和一个特殊的矩阵 M : 
a b c 、 

A= b e f 

\e h i / 

选取--个旋转角 0, 使得 MMAM 中 （ 3 , 1 ) 元素化为零 • 

往这个■■化零"不容易继续下去，因为在 d 和位置上产生零 
妁旋转将把在 C 处所得到的零变成非零元素。对任何大小的矩阵.我 
们不得不保留主对角线下方一斜 行上的 元素，从而用不同的方式来 
完成特征值的计算。不然的话，一个多项式的根可以仅使用确定5 
的方根而求出，而这是不可能的， 

练习 5.6. 3 (0) 若 A 可逆，求一个 M , 它可以证明 ABijBA 足 

相似的，于是它们有相同的特征值. ' 

( b ) 先推导出与 BA 有相同 的迹， 然后对于 

A I} Hi I 

‘通过把主对角元素相加直接证明这个事实 。 

(c ) 由迹证明 ： 对任何 A 和 B 不可能有在 Hilbert 
空间中，这是量子力学的一个基本方程，而且它 有解： 

Bu^xu, 

(AB~BA)u = -^-(xu)~x u * . 

___ ~V^n~ M S ® 线性代数作为 a 子力孕的数孕基 M ■ 动 fl Z 和位 E 3 

: Gilkisenberg 的不定性原理 C uncertainty principle ) 的一个 
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通过酉矩阵 M 化为三角形矩阵 


我们第一次超出通常情况 M = S 的方式多少有点奇怿：我们不 
是允许更一般的 M , 而走上另一途径。即：限制它是酉矩阵.这个 
问题是寻求某神适当的简单的形状，使得在这个限制下， 

能达到这种形式，除非特征向量组是正交的，对角阵 j 是不可能 
的：但是下列的 " Schiir 引理”得出一种形式，它至少在理论上是 
非常有用的' 


5 P 对任何方阵 A ,存在一个酉矩阵 M = U 使得 U - UU=T 是 
上三角的， r 与 A 有相同的特征值，而且位于它的主对角线上. 

证 任何矩阵，例如 4 X 4 矩阵，至少葙一个特征值; 1 1; 在最坏 
的情形中，它可以是四重的，但无论如何4至少有一个特征向量\ 
我们把^单位化成 一个单 位向量 Xl , 并将它置于[/的第一列。在这 
个步骤里，其它三个列是不可能确定的，所以我们可用任何办法造 
完这个矩阵只是保证它是酉矩阵即可，并称之为 [；,.( Gram - 


Schmidt 过程保证这一定可以作到. ） 乘积 C / riAC /, 至少它的第 一- 
列符合要求： A 意味着 

/ Ai * * * Aj * * # 


AU^UA 


或 


0 * * * j 10 * * * j 

第二步，我们来处理右下角的 3 X 3 矩阵 • 这个矩阵有一士特征 
值又,和一个单位特征向量 心， 它可以当作 3 X 3 酉矩阵的第一列， 
111 ) , ] 0 0 0 - 


U, 


0 

0 




0 


_本窣的佘下部分更多地 as 于理论 方面， 
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0 * * 

a. v.-'iu^Au^v^l 

1 0 0 * * 

i 0 Q * * 

设后， 在最后一步中，右下角 2 X 2 矩阵的一个特征向量扩成一个酉 
矩阵 M 2 , 它置于的右下角，而且 

/ * * * '、 

0 A, * * 

vr l { Ui ~ l ur l Av - r 

0 0 义 3 * 

Vo 0 o * . 

乘积仍是西的 （ 练习5.5.】5>，我们得到所要的 CTUU 
- T \. 

因为这个引理可用于所存矩阵，它常使我们可以摆脱4是可对 
角化的假设. 例如： 我们可以用它来 证明： 3所有 UJ <1 时，幂 
于零，而從所有 ReKO 时，指数函数 V ‘趋丁 -()■ —甚至不需 
要有完备的特征向贷组，而在 5. 3和 5. 4节中 对稳定 性理论总要假定 
它的. 

练习 5.6. 4 = ^ 4 馆复证明中的步骤，求出 t/dAtr 

二 T , 

练习 5.6. 5对 A=1 ' 1 j 求 —' 个三角形矩阵 (7-M(7 = T, 

线习5 ■ 6,6证明 C ay le y-Hami 1 ton 定理 t 任何 Xli 阵额足它 E〔f 
己的特征方程。若 PCOscktU — AJ ) 则 P ( A )=0, 捉乐：例允在 
的怙况，通 H 乘出3角形矩阵的积 P ( T ) = ( r —夂>(了一、）.（ 7 
二 A ), 先证明 PCO = o , 然后把 4 = t / nr 1 代入 j >( A ) = (/ n .、 

■ 对汶人的矩阼，证 Mmu - y 归讷氐厶做。 
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—h) 并证明 P(A) = 0. 

对角化 Hermite 矩阵：谱定理 

作为这个二角标准遥的一个应用，我们证明任何一个 Hermi te 
矩阵.无论它的特征值有无重数，都有一个完备的準位正交特征向 
mi , 这个论证分为 两歩： 

Ci) 若 A 是埃尔米特的，而 U 是酉矩阵，则 t/^AU 自然是 
Hermite 的： 


{U' 1 AV') !t = U B A' , (V- 1 ) H ^U~ i AU 
( fi ) 于是由定理 5 P 得出的矩阵 T ^ V -^ AU 既是上三角的又 
是 Hermite 的，所以它必定是对角的， r 必定与 J 相同，是 
Htrraite 的。 

5 Q 任何 Hermite 矩阵 A 可以被一个适当的西矩阵对角化。 

注1 对任何斜 Hermite 矩阵 K 这同样是正确的，因为 K = iA t 
注2 若 A 是实的且对称，则它的特征向 量也是 实的 （ 或苕至 
少可以选为实的） 。 于足 U 站实的11足酉矩阵 一一 换句话说，它是 
—个正交矩阵 4 

注3对： PHermite 矩阵来说，即使它有重特征值，仍然苻一 
个 A 备的正交特征阳跫组 。 我们可以把 A 视为具冇两两不同特征值. 
的 Hermite 矩阵的极限，而且当趋亍此极限时，这些特征向量保 ft 
相匕 iSH 与此相反，非 

ft ) cos^l 

A 0) 二 

l 0 sin 0 J 

□ fcosOl 

和 ^ 笫二个特征 向量趋 于第一 

个 -一- 它是不可对角化的矩阵的仅有的特征 向量。 

注4 即使对于一个具有重特征值; 1 ^=1 = ], h = — 1的矩阵 
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0 0 J 

谱定理仍然是正确的。单位 m 交特征向 m 组的一种取法是 

,, i 1 .0 

* i =_ 4- I 1 I x 产！。 


们是酉矩阵 u 的列向量组，而且〃成为 

I 士 0 ] .000 




+A a 0 0 


1 1 

丨 2 2 

0 0 ' 

但是因前两个射影（每个是秩_的）组合起来给出一个 
■秩2的射影而且4是 


V 


0 0 i = /l 1 P 1 +^2^2 = ( + 1) 

0 1 ' 


+ C -0 
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相应干 A =1 有一个特征向 M 组成的平面：我们的心和 x s 或多或 少可 1 
以任意选敢/于是和 ax ? 也同样是冇一定的任意性， K 是它们 
的和一 ■到这个平面上的射影 P ,- —是唯一确定的。每个界有 fc 个 
不同特征值的埃尔米特矩阵有它自己的"谱分解” A = A 1 P 1 + …+ 
A * P *. 其中 朽是到 A , ■的特征子空间的射影矩阵。因为有一个完备的 
特征向童组，这些射影矩阵加起来等于单位矩阵，而且因为特征子 ; 
空间是正交的，不同两个射影矩阵的乘积必定 为零： PjP ^ Q . 

» 335.6. 7 O ) 求一个酉矩阵 C ； 使得[，若 



1 1 1 1 ) 

, 0 0 0 ' 

叫 

111 

和 A=\ 0 0 0 


M 1 1 1 

0 0 3 ’ 


然后对 A =0 求出另一对单位正交特征向童心和* 2 „ 

(b ) 对这两对向量验证是相同的。 

鏟习 5.6. 8分两步证明每一个酉矩降 A 是可对角 化的： 

O )若4是酉的且 u 也是西的，则『=[；- 1 J 4 U 也是酉矩阵 • 
( ii )— 个上三角的酉矩阵一定是对角的。由此得出定理中的上. 
三角俾 r 是』，而且任何酉矩阵 （ 特征值两两不同与否 ） 都是一个 
完备的单位正交特征向量组: t 7 _ l AU = /。 所有的特征值满足 UI 
=i, 

我们已经非常接近于回答一个自然而又重要的问题，而且能餐 
很好地完成余下的住务：对于什么样的矩阵它的三角标准形 r 与 
对角陈2相同？ Hermite 矩阵，斜 Hermite 矩砗和酉矩阵都是属于 
这一类的 矩阵： 它们分别对应实轴，虚轴和单位圆上的数.现在我 
们要找到这一类矩阵的全体，它们对应着所有复数。 

51?矩阵 N 称力是正规的，若它与 W 〃可交换的： NN n = N B N . 
对这样的矩阵，而且仅仅对这样的矩阵，三角标准形 rst / Mjw 是: 
对角阵芷规矩阵也恰是具冇完备的单位正交恃征向量组的矩阵 
全体. 
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注意到： llermite (或斜 HcrmiU ) 矩阵当然是正 规的： 若4 
则都等 于，； 西矩阵也是正规的： UUH 和 [/ 叩 
都等于单位矩阵。在这些特殊情况下，我们分两步证明了 r=j, 
而对任意的正规矩阵.我们也分同样的两步 去做： 

( i ) 如果 N 是正规的，则也是正 规的： 

TT a =U^ l NUU !i N u U=U- 1 NN ,l U=U- l N ,l NU 
= U ff W ff [/U~ i WU=T fl T 

( ii ) 一个上三角矩阵: T 若是正规的，则它必定是对角的（练习 
5 . 6 . 10 ). 

于是若 N 是正规的，三角标准形 U' l NU —定是对角的，而且因为 
它与 W 有相同的特征值，所以它一定是 W 的特征向量是 U 的列向 
量，而且它们是单位正 g 的.事实上， N 有与 Hermite 矩阵一样的 
谱定理 ， N = t 7 AU - I =^ i «, A ：« l 唯一的差别是特征值^不葙要是 
实的 t 

练习 5.6. 9求一个不是 Hermite ,斜 Hermite ,酉或对知的 
正规矩阵。 

练习 5.6. 10设: T 是一个3 X 3 上三角阵，它的元素是 比 
较 TT ff 与 T B r 的元素，并证明如杲它们相等，则 r 一定是对角阵， 
练习 5.6. 11 证明一个具有单位正交特征向量组的矩阵必定是 
正 规阵： 若 U — l NU =^, 则 NJV fl = N " 义 


Jordan 标准形 


到本节为止，我们已得到用酉相似所能得到的最好的结果：要 
求 M 是一个酉矩阵，我们能够使 AT 1 AM 成一个三角形矩阵7\现在 
我们放弃对 M 的这个限制 f 任何矩阵都允许，而目标是使 AT 1 AM 思 
可能按近对 角阵。 

这个使之对角化的最大努力的结果是 Jordtm 标推形 J. 在矩 
阵 A 有完咨的线性无关特征向量组的惜形中，我们取 M=S 而 J1 使 
j=S~ 1 AS=,i, 这时 JorcJaii 形 J 与对角阵 yf 柑同，对 T 一个有缺 
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陷的矩阵这是不可能的，而且对每个丢失了的特征向 lordan 
形在它的主对角线上方位置将有一个.特征值将出现在主对角线 
上. 因力是三角形的 . 而且就像对角的情形一样.不同的特征值 
可以被分开考虑；只苟重特征值 ATT 能（也可 能不！ ）要求一个 J 
的对角线上方的 | , 

5 S 若 A 有 S 个无关的特征向量，则它相似于一个如下形状 
的矩阵 


i 

每一个 Jordan 块人 是一个三角形矩阵，它只有单一的特征值且只有 
—个特征 向童： 


1 

Ji— * • 

* 1 

同一个特征值人可以出现在几个块中，如果它对应几个无关的特征 
向量的话。两个矩阵相似当且仅当它们有相同的 

很多作者在他们的线性代数教程的最高峰给出这个'定理.老实 
说，我认为这是一个错误。不错，不是所有的矩阵都是可对角化 
的，而且 Jordan 标准形是最一般的 情况。 但是由于各种原因，它 
的结构是技巧性很强的而且是极端不稳定的 （ A 的微小变化就可能 
把所有丢失了的特征向量都拉了回来而且去掉了对角线上方的 I ), 
因此这些材料的正确位置是在附录 之中' 而且引入; Iordan 标准形 - 
的最好方法是考察一些特殊的而且容易办理的 例子. 

我们介绍其中的 两个： 


■ 毎个作#部试0侠这些枒料容易理解 • S 杻 G Filippov 的茚证明是®好的。既_ 
使改变识们的决定把 j 沾构进由^录移到正交文中也是足®简单的 
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； 0 2 , 0 0 i \ 

A = 0 Q l 和 B =[ 0 0 0 I 

^ 0 0 0 / v 0 0 o' 

词为零是这两个矩阵的一个三重特征值，它将在每个 Jordan 块中： 

-或者仅有一个3 X 3 Jordan 块，或者有一个2 X 2块及一个1 XI 
块，或者三个1 X 1块》于是可能的〗 ordan 标准形是 
■ 0 1 0 

Jt= 0 0 0 

0 0 0 


0 0 

和 Ji — 1 0 0 

, ! 

0 0 

在 A 的情形中，仅有的特征向量是（ I , 0,0)' 于是它的 Jordan 
形中有一个块，而且按照主要定理 5 S , A 必定于 A 相似 a 矩阵 B 
奋另一个特征向量 (0, 1 , 0)' 从而它的 Jordan 形是乃；沿主对 
角线必定有两个块 • 至于它自成 一类。 与零矩阵相似的唯一矩 
.阵是 AT 0 

在这些例子中，关于特征向量的简单计数就足以确定 J —— 而 
且当没有什么比三重特征值更复杂的事情时这总是可能的.但是最 
后一个练习说明作力一种一般理论，这种计数技巧是行不通的. 

练习5.6.12求一个矩阵财使得财- 1 5财=*/ 

练习 5.6. 13证明这些 Jordan 形矩阵中任何两个都不 相似： 
而且 

练习 5. G . 14 对于以零为四重特征值的 4 X 4矩阵写出所有可 
傑的】 ordan 标准形矩阵 （ 为方便起见，这些块依大小排列）若冇 
两个芄关的特征向量，证明 J 有两种不同的可能性， 
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相似变换一览表 

1. A 是可对角化的 ： S 的列是 A 的特征向量，而 _RS〃AS= 
J 是斿 角的。 

2. A 是任 意的： M 的列是 A 的特征向量和广义特征向量，而 
旦 Jordan 标准形是分抉对角的 • 

3. A 是任意的而且 t/ 是酉的： [； 可以被选取使得 CT 1 AU = ：T 
是上三角的 • 

4. A 是正规的，可以被选取使得 
特殊情形，所有都有单位正交特征向 量组： 

o. 若 A 是埃尔米特的，则 Z 是实的„ 

若 A 是实对称的，则 Z 是实的而且 U=0 是正交矩阵， 

b. 若八是斜埃尔米特的，则 Z 是纯 虚的， 

c. 若 A 是酉的，则所有 U ; | = U 


复习题 

求(^ 1 的特征值和特征向量，并选取一个 S ，使 


是对角的》 
5.2 


j 0 0 0 

' 1 0 0 ■ 

求特征多项式 c/d C A ~ AI ?和特征值„ 

5.3 若 A 有特征值 0 和 1， 相应的特征向盘是 j 和 [ 2 ]• 
先说明 A 是对称的？它的迹和行列式是什么？ A 是 什么？ 


你能否预' 
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5.4 在上面的练习中，的特征值茆特征 向景是 f 〗 么？ A * 与 A 旮什么 
关系7 

5 .S 是否存在这样的一个矩阵使得对所有数 c , A + ci * 可逆的？ 

5.7 现有两种利息 ：第一 种年息5%,逐日复利为期三年，然后以 
先以 e %为期三年，再以5%为期 H 


缶。=[:]. 

求 

5.10 求上述矩阵 A 的所有平方根。 

5，】]下列事实成立与否（若不成立诰用反 M 说明）， 

(» 若由 B 由 A 交换两行而得到，则 B 与 A 相似。 

m ) 若一个上三角阵相似于一个对角阵，则它本身就是对角的。 

Oii ) 下面结论中任何两个蕴含着笫三个， Z 是 Hermits 的， A 是酉的， 

A 1 = 1 , 

若 A 和 B 是可对角化，则 A + B 也可对角化》 

5.12 若 

,1 0 0 , 

A=\ 0 1 1 j 

.. ) 

0 ] 1 

求一个 U ： 交矩阵 G 和一个对角阵儿 使得 QT 入 n 

5.1 H 把 f 1 分解为 A + K , 卜= A"riK = - 

1 0 0 J 


0 %再为期 H 年 I 第二种正好倒过来， 
年，你莒欢哪一种？ 

B ,8 解擁 



&.] 4 3出一个 JSXS 矩阵，它的仿一行加起来等于1,证明4=1是 
, 26 S * 





第六章正定矩阵 

§6.1 极小、极大和鞍点 

到目前为止，我们还 一 S 没有理由去关心特征值的符号问题 t 
是的，尚不知特征值 A 是否为实数之前.提出它是正的还是负的， 
为时还过早。但是，在第艽章中曾经指出，最重要的矩阵，实的对一 
称矩阵以及复的 Hermite 矩阵确有实特征值 4 因而，弄清特征值是 
否为正就是一件有意义的事了。并且，我们的目的之一是找出一个 
准则，将其直接用于对称矩阵 A 时，在不计算它的特征值的情 JJL 
下，便可预先确认，它的全部特征值都是正的. 

在着手寻找这样一个准则以前，让我们来讲述一个新的情形， 
在这种情形下，特征值的符号是有意 义的。 它和研究微分方程的稳 
定性完全不同，微分方程的稳定性问题，需要负的特征值，而不是 
正的，対于这一点我们不应一笔带过，但是，倘若属于下面的情 
况，则我们情愿如此 办理： 如果_ A 满足我们正在寻找的准则的 
话，那么方程对于每一个特征值 A <0 ,都有衰减解 
e 如，而方程 fwAJtLAw , 对于《 有纯振荡解 e 

新提出来的这个问题，在很多科学.工程技术以及每一个优化问题 
的应用场合中都会遇到.所以，我们希望读者对这些是清楚的，极- 
而我们便将直接从数学的提法开始。 

这是一个求极小的问题，下面让我们用两个例子来介 绍它： 

F(x, y )= 7 +2( jc + y) ：L — ysiny — x; s + y 4 
和 f ( x - y ) = 2 x i + 4 xy + y t 

这两个函数是否对娜一个在 0 处达到极小值？ 

注1零阶项 FC 0, 0) = 7 和/(0, 0)=0, 对答案没有影响“ 
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它们的变化只不过使函数 F 和 / 的图象上下移动而己 „ 

注2线性项给出必要 条件： 给定点若是极小点，它就应当是 
稳定点„対此，在点处的一阶导数值应当等于零，而且确 
实也是如此： 


~-=4(x+y)~33C* = 


-^-=4(x+y)—ycosy—siny + 4y*— 0 , 
= 4JC + 4y = 0, 


屬 - = 4x+2y=0. 

诨此，原点是这两个函数 F 和 f 的稳定点，从几何的概念来说，曲 
面 Z = F (», y) 与水平面 z=7 相切，而曲面 z=/(\ y) 与平面; t=0 
相切。 问题是，当我们离开切点 x=y=0 时， F 和/的图象是杳均位 
于各自的地平面之上. 

注3二阶项，或者换句话说，二阶导数是决定性的 t 
-|^-=4-6«=4. 


■^~ = ^ lr ==4 ' 




4+ysiny^2cosy+12y t =2 t 


争 4 
-旳音 i 


0^ f 0 y 
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这些导数已经包含丁问题的答案„既然两个函数 f ■和/在点 x = y 
= 0姓的二阶导数相同，那么这些一样的导数值就应该包含相同的 
答案.这样，这两个函数的图象在原点附近表现完全相同，并旦， 
仅裘/在坐标原点取得极小 m 时， f 在这一点才取得极小值。 
注4函玟 F 的更高阶项不影响局部极小的问题，但是，可能 
有碍于整体极小.我们的例子，正是这样一种 情况：一 V项迟 i? ■必 
使函数 F 趋向一 ^ ,而不管其在 = 0附近的情况如何.这样的 

情况，对于函数/或者更一般地对于任何其它二次型 （ 不具有更离 
次的埂）都是不会发生的，任何一个二次型 / = + 都 

以坐标原点为其稳定点.即3//狀= 0 , ，-.//gy- 0，如果点 
0 是其局部极小点，那么这点同样是它的整体极小点。曲面 
V)的形状将像一只碗.放在坐标原点这个点上。 

我们 来总结一下： F 的局部极小问题与/局部 极小问題 的等价 
性，如果 F 的稳定点是 a , y-^0, 而不是*=0, y = 0 , 那么 
唯一的改变就是利用该函数在点仍上的二阶导数了： 




切」^ 


十 ？ ( 1 ) 

这时， / 在 0), 0) 点附近的性恣与 p 在 U, 妁点的性态完全一样， 
我们哲且不考虑1^'= 0的可能情况，这种情况甚至对于单变量 
的函数也是非常头疼的了.那时需要引入三阶导数，因为二阶导数 
给不出确定的解。为了避免这些困难，通常要求，二次部分菇非退 
化的：即对真正的极小，仅在点，才允 许/等 于零。在所 
有其它点严格大于零的二次型称为 H 定的 5 

现在.问题归结如下对于两个变逯的函数而言，用什么来正 
确地替代0的 条件？ 在单变 H 的情况下，二阶导数的符号就足 
以确定其为极大或极小；但是，现在我们有三个二阶的导数， Fxx , 
Fxy=F：vx 和 Fyy, 这三项准确决定函数/,它们也应当像/ 一样确定 
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• F 是否有极小 ， a 汰 c 在怎样的条件下，能保证 + 

的正定性呢？ 

我们很容易求得一个必要条件. 

(0 如果/正定，则一定有 a >0„ 

我们伩仅考虑一点1 , y = 0, 在这一点， ax i + 2 bxy + cy z 
等于 a , 如果 HE 定， a 的值应当大于零.针对函数 F , 这就意味着 
^ F / d ^> G , 我们固定值 y =0, 仅使 x 变化，对于极小，我们就应 
当有 F ff >0 。同样，如果我们固定值0 ,仅使 y 变化，这就会 
产生系数 c 的条件 ： 

( ii ) 如果/正定，则一定有 c >0。 

不那么容易确定的是，条件 （0 和 ( if ) 合在一起是否 为二次型) 
正定的充分条件？有无必要考虑混合导数系数&? 

锊 i ^ x ^ — Uixy + y 2 , 这里 , a = 1和 c =] 均为正值，然而， 
假使我们选择点 x = y = 〗 f 由于 /( l , 1) = -8 ,那么，二次型 f 不 
是正定 A 。 在这里，条件 d > 0和 c > 0保证/沿 X 和 y 轴方向增长， 
阻是，它仍可能沿着其它直线下降，直线就是这种情况.系数 
心可能压倒 o 和 c 。 实际上，只看/沿着任意直线的升降情况，是不能 
渐定它的正定性的. 

很显然，问题的解决要依赖于 K 原函数/的系数 i * 是正的，这 
是否足以保证为极小呢？回答又是否定的，而6的符号足无足轻重 
的。如原二次型为 2 Y + 4 a + y 2 , 尽管其所有系数均为正值，但它 
却不是正定的，并且无论 F 还是/都没有极小 D 因为沿 直线; 

我们有 /( 1 , - J )=2-4 + 1 = - i , 

这样，为了使得/是正定的，正是 b 的取值范围 （ 与 a 和 c 相比 
较）应该被控制.我们试图找出 一个正 定性的充分必要条件的精确 
准则.最简单的方法是把/配成"完全平方 "： 

/ =asc 2 +2 吻 +0^ 

二心 十 U t ( c )，. ( 2 ) 



显然，左端的第一项是正的，这是因为它是与正系数 a 相乘的完全 
平方 -- 一正系数^这个必要条件 （ i ) 依然有效，然而，当;^=&和7 = 
_«时> 此平方项等于零，且在这点我们有/0, — a ) = a ( ac - b z ). 
因此，需要一个新的必要 条件： 

( ffi ) 如果/正定，则一 定有加 >&\谙注怠，条件 （ i ) 和 （ iff ) 综 
合起来，就会自动地导致条件00：如果和 ac>M >0 ,那么 
一定有 c >0. 毫无疑问，（ 2 ) 式的右端这时将是正的，这抒，我们 
最终就得到了问题的解答。 

6 A 二次型 + 正定的充分必要条件是0>&租 

« c ~ h : >0 o 相应地 F 在有严格极小的充分必要条件是 
a'F(o,o) 、 n 
- _ 3 ? _ —— > 0 - 

r_a!£(p^oX^ir„ Vf(" ) i r 6^(0,o) 

L af I 9y s 」>L J 

由此不难得到极大的条件.因力 一 f 有极小时，/就有极大，这 
总味着 o , &和 c 取与原来相反的符号，而 实际上 使第二个条件如一 
M >0 不变：二次型负定的充分必耍条件是0<0和 ac _ P > O a 这些 
变化对 F 也是适用的。 

当 — 时，二次型是奇异的，这种情况，是我们到目前 
为止一直未考虑的 a 此时， （2) 式的第二项就会消失，仅留下一 
个单方项 /= a (*+( b / a ) y )、 这一项或当 a >0 时，半正定 ； 或当 
a <0 时半负定。所谓“半,即可以使/等于零，例如 f 在点 x = 
6, y=_a 时就是这种情况.在几何上，这就意味着，曲面 z = K ； e , 

30由一个_碗”退化成一个无限长的“槽"（在三维空间中考虑这 
一曲面那么这个槽沿 y 轴左右移动，并且每一个横断而将是 
冏一条抛物线0的条件给出更加奇异的二次型. 
它既是半正定 又楚半 负定，一个碗就完全成为一个平 

在一元的情况下.函数 F ( x ) 的全部可能性为：或著极小， 

或者它有极大， 或蕃 〆 = 0„然而两个变访时，还奋一种非常重要的. 
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邛能性，即 ac — b : 可能是 负的。 在我们的例子中，当通&优于 ofnc 
就会有这种情况；并且相应地，^在一些方向上是正的，而在 
另一搜方向是负的。如果0和<；有相反的符号，不管&的情况如何， 
这种情况也一定发生。 x 和 y 轴的方向给出相反的结果， f 在二个轴 
.上 增加， 而在另外一个轴上减少，在此来看下面两个例子是有益 
的. 

Si = 2xy t fi=x 1 ~y\ 

上述第一个例子中&占优势 C q=c = 0 ) ；第二个例子中 a 和 c 有相反 
的符号.两种情况都是 = - I . 

这是不定二次型，因为它们可能有任何符号，即随; t 和 y 的变 
化，既能够使/>0,又能够使 /<()• 这样，稳定点既不是极大点 
也不是极小点，我们称之为鞍点（可能因为，曲面 z =/(», }0,醬 
如， - y 1 , 具有鞍形而 得名： 它沿着 y 轴下降且沿着 x 柚上升）. 
试设想一条翻越山峦的小路，如果沿着山脉看，这条小路的顶点乃 
是极小，但当你沿此小路行走时，举 S 望去，它是极大（图 6.】）。 

鞍彤 2 町和实际上是一样的.如果将其中之一旋转 45- 
角， 那么，我们就得到另外一个.同时，它们也儿乎是画不出来 
的. 



» 6.1 鞍弟/ =2； c y 和它的等 K 钱 

练习 S .1.1 求证二次型 f = 2 i + 4 > r y + y 2 在坐标原点有鞍点， 
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岛岱 它的系数是正的.并指出，如何将/写成两个完企平方差的形 

式- 

为得幻极小彔件，似乎只要计兑一下 F « t >0 和 FxxFyy > 
( F ； c ： y 尸 即可。 然而，如果我们懂得，如何将/的系数组成对称矩 
阵 A , 便可以用浅性代数作吏多的事惜。 如果 项的系数 
矩阵的对角线上，而项的系数劈成对角线上和对角线下 
的元素，那么二次型/将恒等于这样一个矩阵的 乘积： 



这个等式，是整章的一个关键 a 可以把它改写= 并且立 

即推广到一般 n 维情况.这样简化形式的圮法，对于研究极大和极 
小问题是很方便的，当有《个独立变 StA, 心，…，％,而不单是 
x 和; y 时，它们形成一个列向量〜，…， x n ) T , 这时，对 
于任意一个 n 阶对称矩阵 A, 乘积 Ax 为一纯二次型。它有一 
个稳定点往坐标匣点，并且不包含更高阶的项： 


= 〆 .似二〔文而…次〕 


'l+aL 1 x i x 2 +a 11 x 2 x l +---+a, ll xt 


x-z 


x . 


= 2 2 OujX.x, ( 4 ) 

!■ -1 f - 1 

给定一在坐标原点有稳定点的函数 F ( x : , x 2 , (它在该点 

的所柯的一阶导数均为零），我们将用海瑟矩阵 （Hessian matrix ) 
A 研究函数的极小.极大或鞍点。矩阵 A 的元素是由二阶导数 a ,.,. = 
a : JV 3\ S ~ 构成的.而矩阵 A 自然是对称的，因为项 A #, 心和 c 31 
Ah 彼此相等（这相应于二维悄形 2 b ; cy 的分解 ） „冏时，当/正定 
时，或者换句话说，矩阵正定时，函数冇一极小.这就足 说： 对所 
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葙的成立 

x T Axy-Q s (5) 

练习 6.1.2 研究下列矩阵的正定性，并且写出相应的函数 h 



在情形00中，以三项平方和的形式写 办， 在情形 （ b ) 中，请 
注意，货异矩阵相应于奇异二次型 （ M 珩均由 A 的行列式 oc - t> l = 
0所认同 ） t 请确定，沿怎#的直线/恒等于零 ■； 

练习 6.1.3 对于正定函数曲线 = i 是一个椭圆 C 这个曲 
线足曲面 2 =/ 0 , y > 被平面 z = 1所截的截痕）画出 a = c = 2 , 
这个椭圆. 

练习 6.1.4 决定下列函数在给定点爲有极小，极大或鞍点~ 
( a ) F =— I -f 4( c * —? c ) — 5 Jfsinj > + 6 y 2 在点 x = y = 0 ， 

—2 x ) cosy 在稳定点 l , y = n . 

§6.2 判定正定性的准则 

对于一切菲零向量怎样的对称矩阵具有性质; eM ; c >0 呢？ 
对此问题的解答有四、五种不同的方法，我们希望把这所有的方法 
都找出来，上一节我们只初步淡了有关特征值符号的某些见解，但 
未作深入的探讨，而只涉及到矩阵元素的两个条件，如果、 

Hi II 

那么 A 正定的充分必要条件是 a >0, ac - b 2 >0. 我们的目的是把 
这些 怎汴 推广到《阶矩阵，并且找出这条悴与特征值符号的臾系.在 
二阶妬阼 R . j 所形成的条件，起码说明它的两个特征值都是正的。事实 
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上，它们的结果乃是行列式 GC — b 2 >0 ,于是，两个特征值或均为正， 
或均为负„但是由于它们的和是矩阵 A 的迹 d + c >0, 因此两个特征 
估必定 都是正的。 

值得注意的是，这两个办法，一个:1’[观妫算，而另一个更多地 
荇服于矩阵的内在性质（它的特征值）.其实，如果更仔细地看一 
下第一个准则，甚至就可以辨认出矩阵的主元素„若将/写成平方 
和的形式，它们则变成： 

ax 2 +2bxy + cy 2 = a ^ x + j y )* H~~~~ y 2 > 

系数 o 和 （ ac - b 2 )/ fl 恰为二阶矩阵 Z 的主元素。如果这种关系对于 
高阶矩阵同样有效，那么.这就将给出一个非常简单的判别矩阵正 
定性的准则.现在让我们检查一下这些主元素，这个准则有一个十 
分简单的 解释； 二次型， Ax 正定当丑仅当它可被写成《个独立的平 
方和的形式. 

还有一点耍预先说明 一下。 本书的两部分是由行列式的理论所 
联系起来的，因此，我们便提出一个问题，在矩阵的正定性中，行 
列式起什么作用„显然 f 条件 detA >0 对于矩阵 A 的正定性是不充 
分的，因为 a = c =— 1和 b = 0 时，此条件是满足的，但我们得到矩 
阵 I ,它是负定的。重要的一点是行列式准则不仅用丁矩阵 
A 本身，给出 ac _ b 2 >0, 而且还要用于处在它的左上角一阶子矩 
阵〜 下面的》个左上方子矩阵都满足这个条件将是上述结论向《维 
情况的 S 然 推广； 



Oil Oil Q z z …， 


下面足主要定理及其详细证明， 
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63 下列每一个准则均为实对称矩阵 A 正定的充分必耍条件： 
(I ) x r ^ x > 0 ,对所有非零向景 x 成立。 

(I ) 矩阵 A 的所有特征值;! f 均为正的。 

(B ) 所有子矩阵的行列式均大于零 《 

( F ) 所有主元素也 （ 无行交换）都是正的。 

证明准则 （ I ) 是正定矩阵的定义 „ 作为第一步,我们指出准则 
(1)与（1)等价。为此，首先假设满足准则（1>,然后确定矩阵 A 
的每一个特征值 A 均为正 „ 理由很简单，假设&为相应的规范化的 
特征向即1 。 那么 

j t * 丁 . Xi ^ t 

因为; U 根据准则 （I ), 由#&> 0 对所有非零向量X都 
成立，因而也必包含特征向量 X=A , 所以 = 1 同样应当是 
正的，于是得知，正定的矩阵的特征值均为正 。 

现在，假设所有1>0,证明; c T A^>0 (这里需要对任意非 
零向量 x 进行证明）。因为对称矩阵具有一组完备的正交特征向量 
mx lr x lt x,, 所以任意向量; c 均可表示为它 们的钱 性组合 
tm+C 山+… + C.3C" 从而冇 

Ax=ciAx 1 -hci + -•• -\- c t Ax t 

= Ci^iX l -\-C 2 XiX 2 +••- +C.I,*,, 

由其正交性及规范化 A 4;== 1 , 有 

xTAw — CiA + cAt ! - + c , jc ,) t ( c i A [Xj + … + c , A ,«.) 

=41 +… +c;A s . (6) 

如果每一个;1 ; >0,并且 c ; 不全等于零，那么 VAX 〉 0 , 因此，满 
足准则（ I )必满足准则 （ I ). 

现在让我们来讨论 （ S ) 稆 （ F ), 它们与条#( I )的等价性将分 
三少来证明，首先，如果条件（ I )成立，那么条袢 （ ff ) 亦成立。为此 
R 的，我们指出，任意矩阵的行列式均等于它的特征值的积。所 
以，如果条件 （1) 成立，我们便已经知遨，全部特征值1都是正 
的， 
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detA=/liA s … A „> 0 , 

为了证明对所冇的子矩阵也有这样的结果，我们将由矩阵 A 
的正定性推导出所冇的 A * 的正定性，： H : 方法是考虑所 有最后 n~k 
个分坫均为零的向 Si •心如果 



M x T Ax= , 0 ) [：；][：] = xlA i x l . 

于是，如果对所有的-非零向量; ':有 0 ,那么，特别地，对所 
有的非零向量 A 符0 ^这样准则 （ I )对4成立，所以， 
我们应用于 A 本身的那些论据，向样也适于其特征值（与 A 的 
特征值 A ,不 一致！ ） 必然为正，且其行列式为其特征值的乘积。 

现在，我们来证明如果条件（ I )成立，则条件 （ F ) 亦成立 B 这 
个证明很容易，因为子矩阵 A * 的行列式与主元素之间有直接的联 
系，根据 4 D ( 2 1) 式，笫 fc 个主元恰是 tleUUfidetA *- ，的比。因 
此，倘若所有行列式均为正值，则所有主元亦将如此，且正定矩阵 
不允许做行交换„ 

最后证明，如准则 （ 汉 ） 成立，则准则 U ) 亦成立，给定了主 
元素为正，我们就必须要推导出浐&> 0。这正是对于二阶矩阵， 
我们用完全平方的方法来证明过的情况。为了证明任意阶矩阵也有 
相同的结果，需耍下列主要事实：在对称矩阵的 Gauss 消元法 
屮，上三角矩阵以等于转置的下三角矩阵 t (参看 1M), 于連分解 
式 Z = LZJI7 变为 A=i!>L y . 

例 




=ldl t . 


上式从左侧乘以从右侧乘以1我们得到平方和。其中主元是 
平方项的 系数： 


J! 7 'AX=C 


< 1 0 0 、 

/ 2 

1 

-y 1 0 

9 

0 —"~ 1 ' 

£, 

± 

、 3 

v T 

f 1 ° ) 



l: 



2 (« -y v) +y( y , 


正的主元保证 x r A?c> 0 , 从而由条件 （F) 得到条件 （I ) 。这样，' 
就完成了定理的最 JS— 步的证明' 在复数的情况下，对于 Hermite 
矩阵 A=A 〃该定理依然正确， 

如果由条件（蓳）中得到一个印象，认为只是左上角子矩阵 7U 
才具有菲常特殊的含意，那就错了.要知道，我们同样可以检验 
右下角子矩阵的行列式。或者，我们可以利用任意一串主子矩阵， 
它从某个对角元 0 ,, 开始， 以： H； 作为第一个子矩阵,并且每次増加一 


S 后一 0的证明是； ]]«- 了-进行的 ， K IH 的怔叨®在■面苐238瓦中抜 （ m 令 


. 281 ■ 



个其有相 M 号码的新行和新列 。 特别地，矩阵 A 正定的一 t 必贤条 
件乃是■，为正，这恰是/<的系数.然而正如我们从例子中所宥到 
的那样，单看对角元是远不够充分的. 

无论在怎样的情况下，主元 d f 都不能跟特征值;1 ; 混为一谈，对 
于典型的正定矩阵，这是两个截然不冏的正数集合。在我们的三阶 
矩阵的例子中，采用行列式的（准则 （ I ) ) 维则或许是最窃单的. 

detAi = 2 , detA 2 = 3 , detAj = detA = 4 
对于髙阶矩阵，用主元消去法会更简单些 „ 在我们所考虑的例子中 
主元为4= 2 , d ,=3/2, d ,^4/3. 通常，应用特征值准则是最为 
繁锁的。但是，对于这个例子，我们知道它们都菇正的： 

2 — 2 ,义2 = 2, , ^3~2+\/ 2 , 

我们指出，虽然，最后一个准则用于具体的矩阵 A 是最复杂的， 
然而理论研究上却是最有用的， 

练习 6.2.1 研究下列矩阵的正定性 

2—1 — 1 . 1 

: -J 2 -1 , B =| 0 

-1 -1 2 , ^ 1 

{ \ 1 1 ') 

C — 1 2 2 . 

M 2 3 ' 

应用分解式将;^5；^1^ +沪+训 8 + 2咖记作平方和的形 
式。 

练习 S .2.2 建立一个其最大的元素位于主对角 线上， 例如， 
f 1 a 

形为 A=|a J a la \< l , \0[<\ 

10 a ] J 

M . 甚至不是半正定之矩阵 （ 计算 detA ) „ 

练习6 _ 2. 3如果矩阵 A 正定，求证矩阵 A 2 和 A ** 1 亦正; 
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练习 6.2.4 如果矩阵 A 和 B 正定，求证矩阵 A+S 亦正定， 
这里准则 I — 况中，哪一个有用？ 

希望大家允许我再引进一个正定性的 准则. 实际上我们已经很 
接近这个准则了。它应该使我们更好地理解前述各淮则* 

6 C 矩阵 A 正定当旦仅当它满足条件 
( V ) 存在这样 的非奇异矩阵 研， 使得 

A=W T W 

如果此新的条件成立，则 

x T Ax^x T W T Wx= || Wx Ij 1 ⑴ 

这个量当然是正的，或者至少是非负的.关键的问题是对于非零向 
量 x , 是否等于零.由于 W 是非奇异的，妒；(=0只可能在 
时发生.所以淮则（ V )就蕴含了准则 (0: « r ^>0 对于所有非零 
向量成立，所有这一切很象 3 V 中加权的最小二乘法.最通用的长 
度度量乃是 II ,且此长度之平方引出正定的矩阵 

最后，还要指出，如果矩阵乂满足条件 （ I )——（ F ), 那么它 
同样满足条件 （ V ) a 为此，我们需要构造矩阵实际上，我们已 
两次几乎做到了这 一点： 

(i ) 在主要定理证明的最;5—步，曾建立了矩阵^]分解 
ldl t . 由于矩阵 A 的主元是正的，那么如选对角阵作力 〆 五，同时 
其对角元力相应主元的平方根，则我们可得到 A 的 t 解： A = L 
这样， W 的选择之一为上三角矩阵 〆 五 L ' 这就证 
明了条件 0 V 0 蕴含着条件（ I ). 

( ii ) 另一方法，用条件（ I )而不用条件 （ F ), 会给出另外一 
个矩阵作.因为矩阵 A 的特征值均为正值，且其特征向量构成一个 
使 A 对角化之正交矩阵那的分解_ _ 

A=QAQ T ^Qy/A\/AQ T = ( ^AQ T ) T WAQ 7 ). 

这#,呢就具打了和心理学家用之进行主要成份分析的同样的表达 

• 此为所 mChoIeskyC 耵勒斯苤）分解，主咒均匀地分蛄 T 上、 FH 角阵乘项之 
fii% 它与 Gauss 等式 A = LUP 几无差奴 U 本人通常避免这找 乎方 拫的讣鲜。 
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式 

练习 6.2. 5如果 A =[_ ^ ~ ] 2 ] 谙用上述两个方法构成矩阵 

W. _ 

练习 L2.S 计算上一练习屮矩阵 A 的平方根 R=£? v /； Tq t „从 
数值 和&式 两方而，验证 K 是对称的 liK £ = A。K 的特征值是正的平 
方根所以不难证明 K 是 A 的唯一对称正定的平方根。同时 i? 电 
的男外一个可能的选抒 s 

练习 6.2. 7如果矩阵 A 是正定的，且 C 是非奇异的*求证矩 
阵 B=C r AC 也是正 定的。 

练习 G - 2 . 8 如架埃米将矩阵 （ + A)/2 是正定的，我们便 
可称非对称矩阵 A 是-正定的”，对于这祥的矩陣，尽管可能 
复数，但是，它的实部一 WAx 十;将是 正的， 

( 0 ) 证明，对于这样的矩阵，它的每一个特征值的实部都茈 
正的 （ 提示：考虑向 MAx=(a+ 诏) x:fnx H 数积的实部）^ 

(&) 以二阶三角矩阵为例，证明甚 至在矩 阵>^+/1为非正定 
的情况下，该二阶三角矩阵之特征值亦可能为正 （ 在 5K 稳定性玴 
论中，对于方程 v =Aw 来说,负定的 + A 曾经意味着其解在每一 
个瞬时都是下降的，但是没冇这个条件，方程也可能是稳定的）. 

练习 6.2. 9写出矩阵 A 为负定的条件 ，请 特别注意条 件夏： 
d e t(_A)*d e tA 之间应有何种联系？ 


II 维椭球 

要了解一个正定矩阵的几何意义，方程为关键问题。 
满足此方程的诸向量％均位于 ft 维空间之某曲面上，现在我们来证 
明，这是一个椭球。 或费 更准确地说，是中心在坐标原点的 r 维椭 
-球， 

例假 j _ 二 ] 和 = 且 rcMxtSw 11 — 2仰 + 

加 2 =] ,那么，为了分析此方程，最好的办法是将其改写成1:方 
和的形式，并以矩阵 A 之特征值夂=1和3为系数， 
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3 

1 -加切 2 = 访+六) 


+ 3 ( 六 - 六 -)、 1 (S) 

判定括号内之农达式。我们记之 为叹和 Z , 那么，诙方程将具有 + 
3 Z 2 - 1的形式，其图形将是通常的椭圆。其长袖之端点为点 VV = 


1，2=0,短轴之端点为 W = 0, Z = 换旬话说，长半轴长 

V 3 

度等于 ia / x ；, 短半轴长度等于1 /fir (图 6^), 此外*这些-的 
方向与相应的特征向量〜= (l/x/2") 和〜 = (1/%/T, 
—lA/r) 之方向相一致。这表明，正定性的几何意义与矩阵的特 
征向量和特征值是紧密相关的， ' 



如果我们懂得方程 （ S ) 的演变过程，那么，对于任意的曲面 VAX 
'. 我们也可做同样的 安排。 关键的步骤照例是利用正交矩阵0 
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^^ it ' A >^ A ^ Q ~ l AQ ^ yniS.A = QAQ T , 其中 O 之各列为矩阵 A m 
单 a 特征向贵巧，这就得到了平方和的形式： 

: /-i ) : \ I ._ 

x r Ax=O r 〕 ; 々 xn I | .、' ] : ')^1 

=夂0>) ; +…十 /, ou - r . 

现在.我们引进新的变量…， y B = x ,\ v -、——用矩阵记 
法，这恰是 y = Q T X —— 并且曲 M 方程简化为 
? cM?c = W + …+ 2,3\ 2 = t 

这是一般情况，方程 （ S ) 只是它的一个特例。 f 至在这个一般情况 
中，也显而易见，曲面上有一个点是;>^ = 1/71, 

= 0 ,该点位于长轴之端点，井且离坐标原点最远 s 此外1对应的 
向量 x 是第一个特征向量的倍数，或者确切地说 xaxWiT 。 在图 
6. 2上此点标冇字母 p 。 离坐标原点最近^位于短轴的端点，且 
存坐标;= — =>，,-1= 0 , y ,= I / v ^ 在图 6. 2上，这个点 
标有宇它位于最后一个特怔所给定的直线上 。中间特 
征向置给出中间轴 s 

6 D 假设4是正定的矩阵，并且它的单位特征卩，〗童是矩阵0的 
列： A=QAQ T , 则旋转变换 y = Ok 产生平方和 
x T Ax~x T QAQ T x=y' t 'Ay 

=』 iy / + …十 ( io ) 

: / T 程描给出一个椭球，其第/个轴之端点，位于这样的坐. 
标力…， y , 之点上，这里， 第) 个分量 w 由条件1 
确定 r 其余的 )\ = o ( i #/, i = l , 2 ,…， n ). 这些点 空矩阵 A 的 
特征向 M 所给出的 S 线上，并且对应半轴的长度为1 !V% a 

练习 S .2. 10椭圆 a s + 4^ = l 对应矩阵 A=[J 2], 写出矩阵 
a 的特征值和特征内] it ,并且画出这个椭画 a 

练 ge .2.11 m 求出对应矩阵乂之特征值的办法，把方裎3« 2 
- Sv / riw+W =1化为平方和之形式，弁画出此椭圆 = 
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练习 6 . 2.12 当所有的; 1<>0 时， + + = 
J 是三维空间的一个椭球。在半正定的情况下，即当一个或几个特 
征值为零时，描绘出各种可能形式的曲面. 


§6.3 半定和不定矩阵 

特钲值问題的推广： Ax=ABx 

既然正定性准则全面确立起来了，所以，在本节我们把网稍稍 
撤大一点。 

我们认为这里有三个 问题： 

( o 半正定 矩阵的准则。 

(2) 对称矩阵的特征值和主元之间的关系。 

(3) 推广特征值问题办 = AB \ 

对于第一个问题，我们可以很容易地给出答案，因为对此所要 
作的工作已经完成.第二和第三个问题取决于对称矩阵的所谓•惯 
性"定律.从数学的观点来看，该定律乃是本节的主要结杲。此定 
律的推论之 一是： 特征值的符号决定主元符号。而另一个推 论是： 
如果矩阵 S 正定，那么问题的特征值与通 常的如 的 
特征值有相同的符号，问题的特征向量 — 彼此正交"，但 
方式与前不同，对于应用来说，推广的特征值问题是非常重要的. 
我们在本节中研究一个例子，在§ 6. 5中再研究一个与冇限元方法 
有关的例子， 

对于半正定矩阵，主要之点在于搞淸其与正定的倩况之相似 
姓。 

6 E 下列每一个准则均为矩阵 A 半正定的充分与必要条件： 

(10 MAxX) 对所有向量; c 成立， 

ao z 的所有特征值均为非 负值： 人>0 . 

do 所有的主子阵均有非负的行列式， 
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( F 0 所有主元 d , 均满足条件 0 。 

( V ') 存在 某个使的矩阼 W ( 可以是 奇异的 ） a 
如粜 AA 秩足 r ,则/ =以办可衣成 r 个究全平方之和。 
/AxX) 和 A,>Ci 之间的关系，这适55主耍的 ， 完全如前面所 
述： 对角化矩阵 A=QdQ^--^ 

x T A T x=x T QAQ T x=y T Ay 

+ … + 人 A 2 (11) 

并 II 当所为非负时，此式亦为非负。如果 A 的秩为 r , 则冇 r 
个非零特征值和 r 个完全平方。 

至丁矩阵 A 之行列式，由于它等于 A 之所冇特 征值厶 之乘积，所 
以亦必非负 1 既然原矩阵 A 之所冇主子阵亦为半正定，则它们的特 
征值和行列式也必>0;这样，我们已经推论出了准则 （ IT ) (矩阵 
A 之主子阵鬼用去掉同标号之行与列的方法构成的„例如 f 去掉笫 
一和 第四行 和列，对于子阵来说仍将保持其对称性 „ 对于主子阵同 
时也保持半正定性：如果对于所有 X ,均冇则当 x 的第一 
和第四分量为零时，此不等式依然成立 a )这里的新情况楚 ，（10 
适用于所有主子阵，不只是适用丁•左上角的主子阵。否则 f 我们就 

无法区分其左上角行列式均为零的两个矩阵 。 例如，力半正 
定矩辟，[3_?]为半负定矩阵.对于半正定矩阵来说，： H : 主元仍 

为行列式之比，从而为非负值。唯一的问题是可能需要行交换，为 
了不破坏矩阵的对称性，我们应冋时交换相应的列，这就意味着， 

“对称消元”不是对矩阵 PA 而是对矩阵实现的。既然此种交换 
仅仅移动了主子阵， 而保持 丁它们的行列式不变，故 （ m 稳妥地蕴 
合了铲件（: r ): >"次捫元之后 ， 右下角所剰的了-矩阵 m 为芩，且 
d , + 1 =乂 = 0 。 

f & JU , 实现眾件 （ F ') 总味玢存在冇 PAP T = LDL r (:或 A = P r 
UJPP ) 的分解关系。 RHJ -, 纟\里的对角阵 D , 其对角线上为非负 
釣主元。现在选择说二 〆 万 i / p , 我们就扔 KA 二 w r iy , 也说是说， 



我们攰立了条 fKY '), 而由 （ VO 立即导致（】'），因为 

[] Wx [| £ >0 , 这就完成了所要证明的论点6£的一个 

橄环。 

例矩阵 



根据下列准则为半正定性： 

( I ')特征值 Ai =0, ^(=^3 = 3, 非负. 

( I ') 所冇的一阶主子阵行列式都等于2 ;二阶者都等于3 , 
且 detA =0. 

(&") 因为 


{ 2 0 0 \ 



[ 2 0 0 


t 0 0 0 J 

» 

那么其主兀为^1 = 2, = 3/2, (?3 — 

练习 6.5.1 对于上例中的矩阵 A ,求出矩阵并把 : cMx 
- li If 2 写成两个平方和之形式^在三维空间中描绘出曲面 ， /U 
^ 1 . 

练习6.3_2由 & E 屮选任三个准则用于矩阵 
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如果 B 足也 rniile 矩阵，证明 A = B : 是正半; .1： 的. 

说明，半正定之条件亦珂山原始条件 （ I )~( Y ) 以下述方法导 
li \： 将单 K 矩阵之某一小倍数 d 加到原矩阵 A 上，得到正定矩阵 A 
+ cJ , 并使 e 趋近于零.因为特 征值与 行列式连续地依赖于 e , 则它 
们将立至最后一个时刻一直为正 ； e =0时，它们仍皮为非 负值。 

含同变 換及愤 性定律 

在本书的前一些部分，对于消元及特征值问题，我们曾经把茧点 
放在使原矩阵简化的基本运 算上。 在每 二种情 况下，最主要的是要 
知逍该矩阵的哪些性质是不变的„当某一行减去另一行的倍数时， 
“不 变者"的淸单是相当长的 ：核， 行空间，秩和行列式均不变。 
羌于特征值问题，基本运箅曾是相似变换 A - S ' 1 AS (或 A — 
WMm ) ,而特征值本身是不变的 （ 根据附录&其若当形亦不 
3£) . 现在，矢于对称矩阵，我们提出同样的 问题： 对于来 
说，什么是基本运算，什么是不 变的？ 

进行变 S 的变换是对二次型的基本运算，用某非奇异矩阵 c 通 
= 把新的向量 J / 与原来的 x 联系起来，于是二次型就变成了 
形式， CMCy 。 因此，对于二次型理论来说，堪称最基础的运算竑 
是合同变换了： 

a ^ c ^ ac , C 为某非奇异矩阵 . 

这种变换仍然保留的对称性，这逛因为矩阵 CTAC 仍是对 
称的，但是， 在 进行合同变换之后，矩阵 A 还冇什么丼 它性 质是不 
变的呢？西勒维斯特 (SyWe S te r ) 愤性定律给 出了该问题的答案. 

6 F 矩阵 C 『 AC 和矩阵 A 具有相同数 H 的正特征值，负特征偾 
和零特征值. 

换言之，特征值的符并非特怔值本身），在合同变换过程 
屮足不变的.在此论点的证明屮，为方便起见，我们假设矩阵 AS 
非抒异的.那么，亦必为菲奇异的，丙此勿茁顾虑饤苓特征 
值存在（如不这祥假设，我们可用非奇异矩阵 A + d ： FnA — m.Ja 
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々 ^ 一 0 ) 0 

为 ' U T-Bj!6F . 我们姐借圯拓扑7的一个技巧，或苦更确切点说用 
M 伦理论中的一个技巧，假设矩阵 C 通过不间断的一个矩阵链 cr(t) 
不II某正交矩阵0相联系.同时跋矩阵链中无一为奇异者，且 t=o 时 
C(0)=C, f=l 时， c(l) = 0„ 那么，随着*从零变到 l,C T (t)AC(t) 
的特征值将从 C T AC 之特征值渐变至 (TAO 的特征值。因为 C(f) 中 
无一为奇异者，故 cKOAcCf) 矩阵无一特征值会触及封零（更不 
说会通过零了！）。因此，对了•矩阵 CTAC 来说「其大于零的特征值 
数目和小丁•零的特征值数目均分别与矩阵 (TA<? 相同。因矩阵 A 和 
与其相似的矩阵冇完全相同的特征值，故矩阵 A 
也有与上述数目相冏的正的和负的特征值\于是 6F 证完， 

例1如果 A=f , 则 C^ACsiTC. II此矩阵为正定的（在条件 
( V) 中取 ). 这里单位矩阵 I和矩阵 C^C 之所有特征值均为正 
数.符合惯性定律. 

树 2 如果 A=[J_?]。 则矩阵 CMC 的行列式为负值： 
d et C r AC =( detC r ) CdetA )( detC )=-( detC ) 1 <0. 

因为此行列式为特征值的积，故 C『AC 和 A —样必有一正特征值和 
一负特征值。这是符合愤性定律的. 

例3惯性定律的下述应用是很重要的： 

6G 对任一对称矩阵 A 来说，其主元之符号是与其特征值的符 
号相一 致的。 矩阵 A 的正杼征值数目，负特征值数目和零特征值数 
目分别和主元矩阵 D 的正、负和零主元数目相等. 

我们知道， A = QAQ T , 其中 (? 为正交矩阵， y (为对角矩阵，其 
对角元是矩阵 A 的特征值。乔勒斯基公式为： 

A=LDL t , ^D=L- l A(L T y i ={L~ l Q)A(.L- 1 Qy ( 13 ) 

•> 正是在逸 M , 我们® SQ 是: E 文的 ，■- 种较好 的选择 <?的方法是把 Giam-Schmi 
dta 程用宁矩沣 C 的《列，这#,令 C = OP , 此处 R 是具有 E 对允元的上三角® 
阵。 那么，可选抒矩阵 ffi 0(<) = *0+(1~00尺=0〔/7+(1-«及〕作为联系£：与 
G 的违续链_事 5 S 上，在任意 ie 〔 o , 〗 〕时，矩阵 C (() 为非奇异的=因为 Q 是可逆矩 
粹，而第二來项 (1 -/)；? 为有 IE 对角元之上二角矩阵。 
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我们选那么，根据惯性记出，矩阵 D = c ^ ic 和矩阵 
d JL 冇 R 符号的特征值， I1D 的这些特征值同时也是矩阵 A 的主元 = 
R 此，矩阵 A 的正特征值的数目与艽正主元的数日相一致. 

练习 6.3. 3对矩阵 <：=[3_?]和八=[丨丨]|,验证矩阵 
C ^ AC 和矩阵 A 有冏 符兮的 特征值 . 你能杏构造一非奇异之矩阵链 
C (0, 以实现从 C 到正女矩阵(?的过渡？ 

练习 6.3. 4利用主元的符号，证明矩碎 

,=[；!：] 

]■ 0 7 6 J 

有一个负的和两个正的特征值.然后求出矩阵乂+ 2 1的主元，并茈 
明，矩阵 A 的特征值加2就会使它们全变成正值。因而矩阵 A 的负 
特征值一定在 _2< a <0 的范围内. 

最后这个练习喑示了一个计算特征值的方法，这是我们要介绍 
的笫一个实用方法 （I960 年前后，这 曾足一 个占支配地位的方法，现 
在仍不兴其妙用）。其中心思想是不断分剖不定区间，一且我们知 
道了一 2<A<C^ 则下一虫就要求出 A 大于还是小于矩阵 A+/ 
的特征值等于矩阵 A 的特征值加1 • 通过矩阵 A+J, 我们发现. 
其主元之一为负值. K 此，所求的原 A 值小于 一U 再下一步就将研 
究矩阵 A+ +J 此矩阵仍有一负主元，因此， 一 2 <A< — 

毎一步进展一个二进制位. 

对于大对称矩阵，这种方法过于费力，因为每一步要进行 n 3 /6 
次运算才能求出整个矩阵的主元 • 但是 ， 如果在计算之前， A 能够 
如在 §7. 3中所做的那柞，变换成三对角矩阵的话，那么，不定区 
间的每个对半分割，只5?进行2«次乘法 。 这样，消元就可以实现得 
很迅速.用逐步明确不定区间界限的方 i ' i •求特征值的过程就会变得 
异常简便。这便是所谓 Givens ( 吉文斯）方法。 
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推广特征值问题 

我对经济学 不敢货 定，但我知道，物理学.工程学和统计学通 
常都希塑在特征值问题中产生对称矩阵。然而，它们可能产生两个 
而不足一个矩阵，如=叔问题可能被 Aa := A 此问题所取而代之.作 
为这种情况的一个例子，我们来讨论一下两个不等质量的运动问 


根据牛顿定律，对于第一个质量对于第二个， F \ 
■ 如果我们违立起如图 5 . 2 那样弹簧系统，那么厂和心也与 

前同。其物理意义我们描述如下：如图 6 . 3所示，两质量的位移分 
别为 w 和 w, 弹筠对它们的向后拉力为 & = — 2 u + w ,F 2 = d - 2 W t 
方程式的左边，出现了两个质 S, 产也了新的重要现象 ； 



当河质 M 相等时，我们便又同到了原来的系统 w * 
而现在有**质量矩阵 £T ,当求指致解 
S ' i , 就产生了特征値问题 . 
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_ mr T = _ A[i 变成了 E(ia) s e i ' , x = Ae 1 ' , *x c 
约去 W 1 , 以 A 代替 O ) 2 , 我们得 

如=伽或[了 2 一； 卜 4: 1 ,: J X . ° 4) 

只有在矩阵 A — ZB 奇异[ V 」怙况下，该系统才有解。因此，2必须足 
多项式方裎 d c t (4— A 3) = 0 的一个根。如果，在这 M 我们选取£(= 
I , 则我们 又凹到 了通常的方程 de t { A -^) = 0 o 
下面我们讨论 m 1 = l 、 的例子： 


det(A—AB) = det 


I 

1 —2 — 2 \ 


iP + eA 十3, 


A 


3 士 v /了 


两特征值均为负值，且两自然频率力 a. = v/=IT, 相应的特征值 M 
'麗； e 可用通常的方法计算出来： 




v / y - 


+ v /： 


(A-zliB) x 2 ： 


10 

■v/yj 


=； 

这些特征向量将给出正常方式的振动 4 在较低频率％的情况下，两 
质景一起振动（向冏一方向移动），其箬别在于，第一个质量最大之 
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位移仅为 v / y —10.73, 而笫二个，即较大之质量，由于采种胺 
m . 则 a 有较大的振幅.在较高 频率％ 的情况下，向量如的分楚具 
冇相反的符号，因而 两质蚩 闷相反方向移动。这 lit 较小的质量将 
会较远地振离平衡位置。 

如杲 B 能预先被分解成的形式 （ 正如此例中那样，这 1 U 
我们认为 B 为正定矩阵），那么下述理论是很容易解释的.做过变 
= 的替换之后，方程就变成了 AW ^ y = 

^作^的形式。现在我们用 C 代替并将最后一个方程乘以矩阵 
(WO - 1 = C 1 ■，就使之变成了单一矩阵 AC 标准的特征值问题： 

C r ACy = 2 .y (15)- 

其中的特征值七与原题& = ABjc 的特征值是相同的，而特祗向量是 
以关系式 y >= W 々联系起来的 •. 对称矩阵<^乂<：之性质直接导出 
Ax = AB : e 的相应性质： 

(1) 其所有特征值均为 实数。 

(2) 根据惯性定律，其特征值与矩阵 A 之特征值具有相同的 
符号. 

(3) 特征向量乃是标准正交的，故原特征向量 A " B - 标准正 
交的" 

如來 向量心 为矩阵 S 之列，那么（〗6)就意味着 S 7 BS =/. 同理， 

r , , Td 如坡 i ~ J t , 、 

^ = ^ yB " J = } o 娜…. (17> 

用矩阵表示法，这就是说5^^5=/ 4 并且犮明了下面一个值得注意. 
的事实： S 之合同变换使矩阵 A 和 B 同时对角化„ 

这一事实的几何意义我们还没有很好地理解。在正定的情况 

• 产生単一矩阵的一条 Mtifti 乎是伹 iT 1 』 不一定是对称矩阵，我 
们 t ® s 矩阵 s _' 1 的一 f - 于矩砗 d 的铒 一嵌， y 产生对称矩阵 c 11 wcv 
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' K , x r Ax = l mx r Bx = 1 两曲面均为拇球，显然，变换％=&会给 
m 使这两曲而 u h 确排放”的新的坐标（并非纯粹的旋转，因为 s 
不是正交矩阵）。 

十 … 十 A,2g = 1, 

x r Sx=zWSz = ：:】 + … +z:= I, (IS) 

其实，第二个椭球乃是一个 圆球！ 当然，此理论的要点还有些 滕胧 
之处，徂可以很容易地综述如下：只要矩阵 S 正定，推广特钲值问 
题 Ax=ABx 实际上和 lx 完 全相同. 

练习 6.3. 5在上面我们讨论过的 m 1= i 、 H ti =2 的例子中， 
证明振动谐波是 B 正交的， 即?: ^6心= 0«如果两质量均被位移一 
个单位距离 ， Wo = — 1 , w 0 = 1 ,然后被放开，求出合成运动 tl = 
« ico £ Ojw ,+0 iC 0 s «2£ JC ! 中的系数 d ,、 笫一个质量能够偏离平衡位 
置的最 大距离是多少 （ 当两个余弦相应等于+1和_1 时）？ 

练习 6.3. 6 求出 

[-3 g]" =_ 'iV[i \) X 

的特征值和特征 i ; J 量. 

练习 6.3. 7如姬二阶对称矩阵 A 和 B 为不正定矩阵，那么 / U - 
- ABx 可能几苻笈恃征值。举一相应的例子， 

§6.4 最小原理及 Rayleigh 商 

现已接近本书之尾声，在这一节屮，我们将第一次偏离线性方 
n. 未知尚 Sx 将不作为方秤成 Ax = Ax 之解。而改用最小珙 
理來确定。 

使人惊竒的是，许许多多 ti 然定作都可以 S 小原理彤式农迖出 
来. m 液体一沉到底部的事实，就是使其势能最小化之后果 t 当你 
坐在弹簧椅上，或者躺在钢丝床上的时候，弹贷就会调整它们的状 
态，結來也是使其势能最小. a 然， &还 有一些_ “阳存白雪”的例 
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子： 一幢大楼，好似一只非常复杂的椅子，承受着 K 本身的重 
而建筑工程学最基本的原则，在 T 使总能量最小。在物理学中，有 
S 小作用量作用积分”；插入一杯水中的一根筷子在水面处看起 
來似乎是折的，这是因为光选抒传播途径使之到达你的眼睛尽可育色 
快的缘故' 

我们必 须马上 就说，这些■•能景”不是别的，正是正定 的二次 
型。 M 然，二次型的导数是线性的。因此，当我们使所有一阶导数 
都为零时.最小化就会引导到我们所熟悉的线性方程去，本节中， 
我们的第一个目标是找出对应于 Ax = b 的最小原则，以及对应于 
=的最小 原则。 我们在有限维范围内要做的恰好是变分法在连续 
问题中所做的事情。在种情况下，一阶导数为零将给出一个微 
分方程（欧拉方程）。在毎种情况下，我们可以自由选择，或是求 
出线性方程的解，或者找出二次型的最小值——在很多问题中，正 
象下节将要表明的那样，后一可能是不应忽视的. 

第一 步非常简单：求出其极小点为方程办=&的解的"抛物 
线” P 。 如果 A 恰好是一个标量，则这一点极易 做到： 

P ( ^ ) =-~— Ax ~ ~ bx , ^.-^-= Ax—b 

只冇在 A 为即此抛物线口朝上开的情况下，才具有最小值的可 
能.这时一阶导数为零，即得(图 6.4 h 在多维的情况下， 
这个抛物线转为抛物面，但对于 P 存相同的公式，而且正定性仍是 
存在极小值的必要 条件。 

6 H 如果 A 为对称正定矩阵，则二次现 p ( x ) = 

在点处达到: R 小值。 

S 明 设 x 为的解。对 V 任一向 My, 我们可以展开 
P ( Y ) — O ) = —|—；V T Ay — y 十 

' WWk 人类的 a 展也是符 a ■带小 e 理的 f 或 w ，文明本身也是违筑 在锒小 
你 fHSW 上的，此类泣 钳的 发现乃是从观癍现负到 Sff 观象的枝化过 ® 中最基氺的 
-■ l : 猓，并 ji 社* n 7卬生樹 y 中必 s 还冇 k 些类似定律有 符人们去进一 s ； 
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(a > 抛物线 ( b ) Wffi 碗形 

图 E .4 二次困数戶(: t ) 之琺小值 

=—--■ y T Ay — y T Ax J r - l -- x T Ax 

因为>1为正定矩阵，故此值永不为负，且仅在 y_x=0 时，才会为 
零。在所有其它点处 POO 均大于 P 00,所以最小值点位于喊 h 
练习 6.4.1 考虑下式所给定的方程组 A>:=&。 



迠立相应的二次型 PO :, 心），计算其偏导数 E 3 P /3 X ,, 并证明 

这些偏导数恰好在原方程的解处等于零。 

练 336.4. 2求函数 — s 夕和 Pz = -\x i ~^y 

的讼小值（如果有的 话）。 仆么样的矩阵 A 对应于函数 

绦习 6.4. 3在 A;c=& 处达到其最小值之另一个二次型为 

Q(x)=~*- |j Ax-b |[ 
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把 Q 与 ^进 行比较，忽略常数项在设小值处我们将得到什么. 

方 程组？ 在 a 小二乘法中这些方程叫什么名称？ 

我们的第二个目标是求出等价丁九 v=；U 的最小化问题.这一 
点不太容易，我们所选的函数不可能就是二次型，或者对其微分会导 
出线性方程——而特征值问题从根本上讲乃是非线 性的。 这里的方 
法是探讨两个二次函数之比.我们所需要的这种比值称为 Rayleigtt 
商. = 

现在我们直接转向主要定理„ 

61 Rayleigh 原理: 第一特征向置 xsjc , 使商 H ( x ) 具有极小点， 
而该极小值为最小特征值 A : 

首先让我们从几何学的角度来分析这个结论。我们设想将其分 
子固定为1,而使分母敁可能大9分子， / x = 1决定一个椭球， 
至少在 A 为正定的情况下是这样。分母为 IP , 故我们农 
的是椭球上离原点 最远的 一点——换言之，长度最大的向董\从前 
面我们对椭球的描述可知， ： H ； 长轴 （ 所求的点在此长轴上）的方叼 
是与第一特征向量的方向一致的. 

从代数的角度来看，这一点很容姑理解（甚至对矩阵的正定性 
无任何要求） t 如 M 我们用一正交矩阵0使矩陴 A 对角化： Q~ l AQ 
— A , J1Q T = Q ' 1 , 令 S=C?y, Rayleigh 商就要变得简单得多： 

R ( x )= AQy ) T A ( Qy ±^ y T Ay 
K } {. GynOy ) y T y 

H - . 

此商的极小值显然应在坐标为: Vi = Uffy s =y 3 =的点上 
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在这一点上，此比值等 fA 。 在其它任何点 上，此比值都 f 火一 
岬， 闪为 ^足所也又屮铽小者， 

乂 1 Ovi 十； y 3 + … - i - ySXU ,；^ + A 2 j^H - VX , yl ). 

此不等式两边除以第…砧号中的表迖式，彳私 』 <K O ) 。这样 f 极小倂 
发 i 在第一 特征向 ffi 上，或者，更确切点说，发生在第一特征向 M 
f ;' f 奴叫 ，上，因为-沛长”因子足不会改变比值的，即 ： 

瑞利原理意味若，对十 行个向 商 R (：0 为心 的上界„力 
了由上界估计我们无须求持征向 - M 并转换成 y ; 这在钲明屮是 
心用的，但在应用中，我们可以选择完 全任意 的向量； c 。 

练习6 . 4，4 对丁任 意矩阵 A 和特殊选定的向量 x =( 1,0,…， 
C ) ,比值 KO ) 应等于 什么？ 证明 h 小于或等了-矩阵 A 的每一个对 
角元 a ii(1 

练习 6,4. 5对于矩阵乂=[_ f — JJ , 选一向量^使其给出 
的 RO ) 值小沪从矩阵 A 对角元得来的限界; i !< 2 ^ R ( x ) 的极小值 
为多少？ 

练习 6.4. 6 如果 S 为正定矩阵，利用 Rayleigh 商证明 ，矩 
阵 A + B 之最小特征值大于矩阵 A 的最小特征值。 

练习 6.4. 7如果;^为矩阵 A 的最小特征但，七为矩阵 B 的晟 
小持征值。求证矩阵 A + S 的最小特征值至少不小于;^十心。（提 

将相应特征向蛰太代入 Rayleigh 比式。） 

较后这两则练习， 或许菇 由 Rayleigh 原理得来的最典型和最 
觅迆的結果。但从特征值方程本身都很难求出， 

Rayleigh 商的应用不仅仅局限于第一特征值 A 与其相应的特 
其实，显而 M 见 
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龀比式之最大值发生在单位向量 2 /的序列的另外一端，即在 
= 〜=y,_:=o,;y, = i 的一点上,此点对应于最后一个特征向= 
而最大值本身为 A,。 因此， RO) 的每一个比值不仅是 A t 之上 
限，同时也是戈的 下界' 最 耵我们 指出，中间诸特征向量^, 
…， 均为 Rayleigh 商之鞍点， 

练习 6.4. 8求出 （21) 式之各偏导数，证明在 y := y 3 =-__= y , 
= 0- >£= 1处为一稳 定点。 求比式 

之最大值。 


特征值的极小极大原理 

涉及到鞍点之困难在于，对某个典型的向量*来说，我们不能 
肯定 R (*) 大于抑或小于各中间值; t 2 , …， 对于应用来说，存 
在一个真正有用的极值（极小或极大）原理。因此，我们来找出这 
一原理，让极小或极大值在第/个特征向量心上得到对称矩阵 
之基本性质向我们提供了下列主导思想：向量心与矩阵 A 的其它特 
征向量是正交的.因此，偎设我们强令向量 x 在极小值原理中与 
最初的特征向量 正交； 这就使 
= 0. 其余向量力，…， y , 我们未加限制，则 Rayleigh 商就筒化成 

hy) +Aj + iy ； >. ] + --*+^,.yS 
yi+yt + iH - \- y - . 

其极小值为七，这时 y >= 1 , y 』 + i = 〜= y , = 0。 

6 J 在令向量 x 与特征向景心，…，，正交的情况下，下一 
个特征向量〜将使 RO ) 比式有极小点，且该极小值为; I /, EP : 

在= £), ‘ •’ ， t =0的奈件下， 

A 尸 minKO ). (22) 

* 根据练习 ej *4 K 推理，我们知 S , 任一对角元均小于 Am 

" 这个®日有点持抹，这就是我们找 a 的抜小值原理， Rayleigt-Ritz 有限元法即 
攰筑在此原理之上-由此，我们直接转向 6.5 节不会有讧何困笮 „ 
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叼理 ，在向贵 X 垂直于 + [ ，-，& 时， X 将使 ROO 比式冇极大点 • 
从理论上讲，利用此原理可以按递增顺序求出各特征值， 第— 
个特征为 K(x) 的绝对极小怄，位于向量〜上。其次，在*与巧 
正交的条件下，厶将是 RO) 比式的极小值。同时，对任何正交于 
〜11于〜不重合的 x 来说， RO) 之值均大于 
例矩阵 


' & 1 i 

半正定，且〜= (〗，：，1, o 为对应于幻= 0之特征向量。 
对于 A:, 要找出某一上界.我们可试选一个和 A 正交的向量 x, 并 
览出 HO) 的值： 

^=0,1, -1,1), II —^^=1, 故; U< I ， 

这 lli 唯一的问题贵^如果我们不确知向（我们很少对其确知）， 
那么我们就无从知道向跫^是否与艽正交^在约朿极小问题中，约 
朿条件本身应该是已知的， 

现在我们要问，对于；1 2 和^来说是否存在有不要求确知&的愦 
况下的极值原理.答案是微妙的.假设 a 未知，在这种情况下，我 
们只要施以约谌条件，使所有试选向量 x 垂; a 于某任意向量 z ^如 
果那么 K(x) 的最小值将等于 a 。 在更为可能的情况下， 
z 打别于々，我们仍可能找出关于最小彔件的某些要求 ； 该条件极 
小值将不大于 Ah 换言之，对于任 一Z , 我们有 
min R( ft ： )^/1^ , 

x r Z= 0 (23) 

证明前两个特征向 S 的非枣组合？：=(«： 1 +沒^将正交于 z ; 

3 VJI 要我们对系数《和万施以单一的限制袅件 K ;1 可。这祥，对 于 任一 
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此类组合 


R ( x ) = - 


( ax z 十 

CctJi, +0x i y (ax^^Xi ) 




<As. 


因为我们 已经找 到了使 k <>)< A 2 的 IMS x , 所以 RO ) 之 S 小值 
肯定要小于这一事实直接导出了下一则"最太值原理~ , 

6 K 如果在满足约束条件 s T z = 0的向貸 X 上，我们使 RO ) 
极小，且选择使该极小值极大化的 z ,瑯么我们可得 A : 

Ai ^ maxCminRC ^)). (24) 

z x T z~0 

根据式 （ 23 ) 我们知道，括号中的值小于或等于在2：= 〜的特 
殊情况下，比值等于 a 2 „ 

在几何学上，极大极小原理有其自然解释。假设某一椭球被过 
坐标原点的平面所截割，则截面仍为椭圆，是低一维的椭球。不等 
式 （ 23 ) 只意味着，此截面的长轴至少要和原椭球的第二轴同长度 
(在图 6. 5中这对应于不等式 ). 



图极大 S 小 MK + K 大原理： 
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选抒特定的截割平面.则截面之长轴将等 于原椭 球之第二轴。此选 
扦就是正交于原椭球长轴方向 z =心的平面。这时 h = 

此几何解释可以直接译成矩阵代数的求语。 

6 L 给定一对称矩阵 A ，其特征去掉该矩 
阵的最后一行 和最后 一列，形成子矩阵那么，如果 A 为此 
〒阵的 S 小特征值，则它处于;! <；. 2 区间， 

tv 先，我们指出， 幻为 比式 i ? o ) 的绝对最小值，下 m 的步骤 
记要搞清楚，在％的最后一个分量必须为零的约朿条件下也是 
K ( X ) 的最小值.此条件最小值不可能低于绝对最小值： . 
另一方面， X 的最后一个分量必须为零的条件等价于在特别选定 r 
= ((),•■■, 0, 1 ) 时， Mz =0 的约束条件 。故根 据式 （23) , 
我们有 h < A 2 。 

例1矩阵 A =[ f _ 【 — ^ ] 的特征值为1和3 ,而舍*最后一 
行和 ft 后一列所得子蛔阵 的特 7 征值为2。 

例2 矩阵 



的特征值为 2 —〆 2 , '2 + v ^ T , 当把最后一行和最后一列去 
艽最小特征值增至！，但不会超过矩阵 A 的特征值2 — 
'/了< 1 <2 0 

例3如果 B 1 H 记。则根据 Rayleigh 商 
^(A + B)=^^0f- x - 

练习 6 . 4 . 6正是这样的一题。现在极大极小原观 （ 24 ) 对于第 
二特征值可给出同样的 结果： ^( A + B )> X Z ( A ), 因为当矩阵 S 
加？ ']A 上时， SO) 又有所增长。 

例4 给定某弹笼和质量的振动系统，假定某一质 量被 强制于 
平衡位 E 。 则此系统之 S 低频率就耍增长，但不会超过原特征值 
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练习 6.4.9 求出矩阵 



的各特征值，并利用不等式求证无论取消哪一个行列 
对，新的最小特征值必然是 A = U 用椭球1可以进行什 
么体育 活动？ 

练习 6. 4 JO 把极大极小原理推广 5i] /个不同的约束条件 f 其 
想法和 ） =1时 一样： - 

max 〔min R(；c)〕= 人 f+i. (25) 

en — t^j x T zi -O,—, i T i/ = 0 

取 / = 2 , 导出舍去矩阵 A 的最后两行和两列所得子阵的最小特怔 
值的不等式„ 

现在，我们该把这些定理倒过来，最后得到极小极大原理.这 
就是说，我们首先要使 Raykigh 商极大化，然后求出此极大点的 
可能贝 有的极小值. 

视欲求特征值的不同情况，可冇妁干个解此问题的途径„若求 
最大的特征值夂，我们只要求得 R(.r) 的极大值，即为答案，但假 
若，我们现在要求 A if 因瑞利商为 

_h.y± — 卜 / 

yf + yJH - ry ; ’ 

海 C 使又:为域大值的方法，显然是令;0 • 这》_2 
个约束条件只留给我们一个二维子空间，即由矩眸 A 的前两个特怔 
向量心和心所张成的子空间„此特定的二维子空间中， KO> 之最 
大值为夂——但特征向量 心和〜 是解决此问题的一个环节，然而它 
们却足未知的， 

a 类似悄况发生在极太极小原理问题屮时，我们那时解决问題 
的主导思想在于选择某任意的约束条件:„这里我们仍沿用 
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这一思想，在某任意的二维子空间屮忮及 U) 极大化。我们无从得 
知，此子空间逛否含有任何特征向踅，故此法不大可能生效。然 
而， R a y l e igh 商的 s 大值却使我们可以 nm 对夂的估值。在此以前， 
在 Vz=0 的条件下， j ?0) 的设小值小丁现在，在我们所讨 
论的子空间中， RO) 之 S 大值将大于即，如果&为 〆的任一 
二维子空间，则 


maxR(x:)^/l jZ . 

^65^2 


(26) 


证明在子空间屮，总会酋某 M fix 与第一个特征向量 A 正交， 
而对此特定的 x 来说，我 f 门知逍，于是我们立即可以 
得出极小极大原理来； 

6M 如果在所有可能的二维子空间 S 2 中，我们使 JIO ) 极大 
化，则这些最大值屮之 S 小可能值等于 A t 

A s = miiiCmaa;R(A：)). (27> 

St ^ es 2 

括兮中的值水远大于或等于 A , 而对于由矩阵 A 之第一和第二 
两个特征向 ft 所张成的特定子空问来说，此值等于 A。 

练习6.4.彳1在上 M 第二个例子中，求出左上角之二阶子矩阵 
的最大特征值6 ,并将其与从和幻做一比较. 

现在我们以两项说明来结萊本节.我泠望，甚至勿需细证，免 
直觉你们也能理解其正确性， 

说明1极小极大值顷01可由二维子空间推广到/维子空间 f 
并可用它求得心' : 

A ； = m in C m a x R (x) ). (28) 

Sj ^Sj 

说明 2 对 丁推广 的特征值问題来说，如果 Rayleigh 
商之分母由改成则所打上述原则将均仍有效，利用代 
mx = Sz t 这里我们选矩特征向量作为 S 矩阵的列，把 
RO) 简化 力： 
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这恰是本京 ( 17 ) 式屮 A 和 B 两矩阵同时对角化的情况， 这爪 两个 
二次型均变成了完全平方和的形式，且 ; U = mitiK ( x ) ,而人= 
对于振荡系统中的不相等的质量来说，强制其一质 S 
于平衡位置，将使最低频率升商，而使最高频率 降低。 

练习 6.4. 12在 （ 28 ) 式中，哪一个特选的/维子空间为给出 
最小点者？换言之，在哪个子空 间&屮 B ( x ) 的最大值等于夂？ 

练习 6.4. 13极小极大原理 （ 28 ) 式，可用约束条件之 术语写 
出，而不用子空间术语： 

A 产 min [max R ( jc )). 

x T si m 0» x 1 i 1 */ -0 

各向童 z 与各子空 间&间 的联系如何？ 

练习 6.4 .U 求证之最小特征值 A 不会大于矩阵 A 
和 B 对角元的比值 aH/hh 

练习 6.4. T 5 (难题）求证，如果对称矩阵 A 的最后一行和列 
去掉后，则所余子阵的特征值 七满足 

(30) 

记住，舍去最后一行和列，相应于单一的约束条件 5 向量 x 怕最后 
一个分童为 《•= 0 ,故 X 正交于 z =(0，…，0 , 1), 由极小极 
大原理导出不等式心>1,而由极大极小原理导出士<心 + 1 . 

§6.5 Rayleigh-Ritz 原理及有限元法 

前一节包括有两个主要思想： 

( i ) 解方 组办 =&等价于极小化二次型 P (; e ) =— 卜 
( n ) 解办等价于极小化瑞利商 
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现在，让我们来讲一讲如阿应用这些思想的问题， 

此问题的历史相当悠久，因为上述等价情况早在一个多世纪以 
前就己波人们所知.这些极小化方法，曾被用来粗略地近似求解诸 
如菏板振动和原子的稳定状态（特征值和特征函数）等一些经典的 
工程学以及物理学问题，从某秤意义上讲，这些近似法之所以粗 
略，乃是由于当时的研究人员仅有的一些如铅笔、纸张与一只小小 
的计箅机械等一类工具的缘故。当然，数学原理是存在的，但它们 
却无法付诺实施。 

显然，后来数字计箅机的问世，预眾着一场革命的到来，但 
足，这场革命的第一步，便是舍弃 a 小原理 f 因为这些原理太陈 
in , 计算太缓慢。从而冇限差分法脱颖而出，因为它极易使微分方 
程离散化。在 1. e 节中，我们已经见过这种方法，那里，每一个导 
数都被一个差商所取代. K 鞠理范围被格子或“网眼”所覆盖，在 
毎个网眼结点存在着一个诸如一 Wy + i + 21^_— 类的方 
祝。从数学上讲，此 H 题被衣示成 A «= f 形式的方程组一^本世 
纪 5 0年代一些计算数学工作者曾全力以赴地从;! f 开发庞大的以及稀 
疏的方程组快速求解方法的工作， 

当时，我们未究全意识到的是，对于现实的工程问题，如求飞 
机结点上之张力，人脑壳的岡有频率等，甚至有限差分法也会变得 
异常复杂起來.真正的 M 难并非在于求解方程，而在于建立这些方 
程。对于非规则区域，我们需要非规则的网，由三角形，四边形或 
四面体拼凑成的网，此外，我们尚需耍系统化的逼近相应物理定律 
的方法。換句话说，计箅机不&应帮助人们求解数字问题，而且应 
帮助明确衣达出这样的问题。 

读荇可以猜到发生了什么爭情„旧的方法又回来了，但却冇了 
新的思想和新的名称。新的名称即为有限元法 t 而新的思想则在于 
构成断续逼近方程 r 求解并 M 示结果等方面，使人们可能在更大程 
度上运用 ijj ?: 机之威力,这是江何； K : 它计箅方法所不能比拟的〜„ 

* WK 谅 K 这种 S 丹， 孜知逍这种方法可能丼诈不朽之作, 
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主旨在于保持数学基本思想的简明 性， 而其应用则可很复杂，这些 
应用的童点已经从飞机的设计转移到了梭反应堆的安全问题上，写 
此书时，正在进行着有关此法扩展应用到液体动力学方面的激烈争 
论。然而，对于如此规模的问题來说，无可争议的一点是其成木， 
到目前为止的化费，10亿美元恐怕是一个保守的估计。我希望一0 
读者会有足够的兴趣，足够的能力去掌握有限元法并将有所收 
益。 

为了讲解这种方法，我们从经典的 Rayleigh-UUz 原理开始，然 
后再介绍有限元的新概念。这_电，我们涉及的微分方程= 
fix ), 边界条件 ii(0 )=»( 1 )=0 ,仍和早期的有限差分法所研 
究的 相同。 勿谢置疑，这趙一个"无限维”的问题，其中向量 b 被 
函数 f 所取代，矩阵 A 则被算子 -f/dV 所取代。但是，我们可以通 
过类比的方法写下需费求其最小值的二次型，将其内积代之以积 
分 ，得： 


P C y ) = — v T Av—v T b~ — ^― j^ o C^f) ( — W)d* 

~!: yOO /( x ) dx . (31) 

此式应该在所有满足边界条件的困数 y 上进行极小化，且给出极小 
值的函数将是原题的解微分方程已经转化成了扳小化问题，我 
们剩下的任务只是对 p ( u )之一项进行分部积分， 

f v(—v ff )dx— f 〔 TO ’ 〕 

J,C Jo J 。 0 

因 


C 。!/〕 ^ = o , 故 pO )==- [—1。（沪）*办 


vfax % 
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现在二次项办为对称的，类似于 / Ax , 同时也是正的，因此 
有极小点是被保证.了的。 

我们如何求得此极小 值呢？ 其精确计算等价于精确解出微分方 
程，这个问题是无限维的。 M 选 n 个试验函数，^ = ^.. 

…， RayUigli - Ritz 原理就是利用这换试验函數，把此问 
题置换成一个《维问题^它容许所有线性组合 V=；V iV 』 （x ) + …+ 

: V , v ,0), 并能计算出使 P ( v > 极小化之个别组合让我们再重 
复一下上述内容 ： 中心思想在于在子空间中进行极小化，而不在所 
有可能的 U 上，给出极小值的函数是 U 而不是我们希望这两者 
是接近的. 

以 V 取代 y 后，该二次型就演变成. 
f ( V ) = — : (# / + 

记住，这些函数 V 是预先选定的，所不知的逛它们的权 y , , h , 
y .. 如果我们用这些权组成一个向量 y , 那末 p ( v ) 就将和我 
们所熟悉的二次型完全一致 .： 

P(V)=-{-y r Ay~y T b, - <32> 

这里 A 产丨 V / F / 办 % y , yi 的系数，~ =丨 Wdx 为 yj 的系数。我们当 
然可以求出之极小值，这等价于解方程组 (>• 
因此 t Rayleigh - Ritz 法之步骤是 ； （ i ) 选试验函数 R ; ( H ) 计算 
出系数 Au 和&』； ( iii ) 解方程组 Ay = b ; ( iv ) 给出 
+ “ ， +y,v, 之近似解， ' 

一切都取决于步骤（0。除非函氕 V ,舁常简单，其它几步实际 
上逛做不到的 D 此外，如 Vi 的任何组合都不接近于真实解《 ,那 
么，后面几个步骤是无用的.问题在于把可计算性和精确性两者结 
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含 起来。使有限元法获得成功的关键思想在 P 采用了分段多项式作 
为试验函数V。 

最简单和应用敁广泛的是分段线性函数。首先，我们把结点安 
置在 H , x ,=2 h , 之各点上，这恰与有限差分方 

法一致。边界条件要求，在端点 A=0 和; c, + 1 = !上，每个函数V 
都 为零。这时 ViS "顶函数”，在结点々上，它等于1 ,而在所 
有其它结点上均为 0 (图该函数集屮在结点附近的一个小 
小的区间内，而在其它任何地方均等于 0 „事实上任何组合 
+… +y,v •在同编号的结点上都应有％值，因为在此结点上，其它 
函数 v 均为0 ,于是此组合的图形较容易给出 （me.6JO 



田 《. s 顶函数及凡线性组& 

步骤 (i) 就此结束.下一步我们在"硬矩阵” A 中求出系数 Ad 
= lV/V/dx. 函数 R 的斜度V/ 在々 左侧的小区间内等于 1/fc, 而 
在右侧等于V/在其 结点心 附近亦如此，且如果这些 * •双重 
区间”对于函数V/和V/来说不重叠的话，那么乘积 V/V/ 恒等 
于0 。 仅仅当 

i = i 且];办= 1(4-) 似 + 1(—+) 办 
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或 i = 1 ± I v\v]dx^[ h )( h 


h 

时，它们才重叠因此，该刚度矩阵实际上为三对角线型: 


2 - 1 



! - 1 -： ~；1 

这看起来和有 m 差分法的矩阵 a 完全一样，于是导致了多次有关此 
两方法 关系之 争论.更复杂的有限元——更高阶弟项式，这些多项 
式对于常散分方程来说在区间上定义，而对于偏微分方程则在三角 
形或四边形上定义--一也会产生稀疏矩阵 a . 你可以把有限元法想 
象成一种在非规则网上建立精确差分方程的单一化的途径，结杲使 
有限元汰落入 Rayleigli - Ritz 法与行限差分法的“交接面”上，此 
法的精华在于这些分段多项式的简明性，在毎一个子区间，它们的 
斜度很容易求得也容易对其进行 积分。 

右侧的分贵宄全兒新遇到的，在冇限差分方法中，这里仅仅 
坫； f 在结 点心上 的值，向现在，它们则为 f 在诙点附近的平均值： 
bj = !vjidx, 然后在歩骤 （ iii )， 我们解三对角方程组火 y = 该方 

涅组的解即给出使极小化的特珠试验函数£/ == y t v, + - + 
y , v , 的系数.最后，用折线把所有这些 W 之顶点连接起来，我们便 
得到近似解 U 的图形。 

现在让我们 指出： 所研究的此特定问题所特有的一个性质： 
不仅仅接近于真实解 W , 而且在网的结点处恰恰等于》«换言之， 

C/ 为 W 的线性内插式1对于更加复杂的方程来说，这是一个过高的 
期免，此结果 不会出现。 但误差 c/— «,甚至在袓糙的网上也是很 
小的。相应的收欽理论，在作者 George FU 合著的《冇限元&分 
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析 » ( « An Analysis of the Finite Element Methcul » 
Pren tice-Hall f Engle woud Clitts ， Xc w Jersey ,1973 ) —书 
中存所论述，那 m 我们也 u 论了偏戬分方裎，有限宂法对偏微分方 
积 来说， 亦保持其有效性 5 

综习6, 5.1 对亍一不变的源项 （source term ) / =〖来说， 
—： f 之解为抛物线《 =0 — V )/ L 计芬各系数 〜 = 弁 

E 明各确切值沁 =u (巧）满足冇限元方程组 b 。 

练习 S .5.2 当 A=J 时，二 次型为 PO ) 

并在向 tty = b 上达到其最小值.求证汽>0-戶（&) = ^||>> 
-bll 2 ,并根据此等式 解释， 为什么在试验函数的子空间使 P ( y ) 
极小化的向量亦为最接近 b 的向量， Rayieigh - Ritz 原理自动向拭 
验函数子空间投射出真实解的投影. 


特征值问题 


Rayleigh - Rit Z 的思想——在有限维函数族 V 上实现极小化， 
以取代在所有可容许的函数 u 上的极小化——对特征值问题有用， 
也正如对稳态方程有用一样 D 这时被极小化的正是 Rayleigh 商 ，其 
确切极小值为基频当我们把试验函数类由所布函数 V 限制到较 
小范围时，函数。其近似极小值 / h 将有所增此外，仅当函数 
h 容易计算时，离散问题才是可以处理的，瑪利-里兹原理也才可 
以应用。因此，近 20 年来所采取的步骤是完全自然的，不可避免 
的：把新的有限元思想运用到特征值问题的变分形式中去. 

最典型的是下面这个最简单的例子： " 

— u ff = ?,u r u (0 )^u( 1)=0 . ( 33 ) 

其第一特征向量为“ = sin ? rx , 特征值为此特征值和函数 
满足方程（ 33 ),且给出相应瑞利商之最小值， 
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KO): 


v T (_ — d 


s /dx z )v 

>T V 


v(—：n 


(V): 


从物理学的角度看，这是势 ik 与动能之比， _a 在特征向量上它们是 


平衡的。在通常情况下，此特征叼量是未知的。为近似求出此向 
量，我们只选取 V=y 1 V 1 + 〜+y,V,。 结果，我们得 


R(V)- 





现在我们 茴临使 ：^Ay/：^B y 肢小化的问题„如果 B 为单位矩 
阵，那末，这将转化为标准的特征值间题但这里的矩阵 
B 将是三对用线的，且正是这种情况产生了推广的特征值问题.比 
式 R( V ) 的最 小值山将是办 =的最小特征值，而相应的特征向 
量V 将给出原问题特征函数的近似 形式： … 

如在静态问题中一样，此法可被总结成四个 步骤： （i ) 选择函 
数 ( ii) 计算矩阵 A 和 B ; (iii) 解 4y = AB；y ; (iv ) 选择给 
出相应函数 U. 我不知逍，为什么这就值10忆美元。 

练习 6.5.S 对分段线性®数V 1 和V S 来说，対应于结点 
=一^-和 x =2h - =一 | 一，计算二阶矩阵 B 。 证明此离散特征值问 
题与练习 6 . 3 . 6 中问题的同一性，并把和真实特征值 A, ^作一 
比较， 

练习 S , 5 . 4在有限元法中说明为什么极小极大原理也保证 Z s 

>A S „ 


* 314 * 



第七章矩阵的计算 
§7.1 引 言 

本书的目的在于研究矩阵理论的某些应用。这里所阐述的理 
论，与抽象线性代数的标准教程相比，没有作根本性的改变，本科 
目的最大优点之一便是，这些理论对于应用来说，确实非常重要。 
从一种新的观点出发，改变了研究的重心.现在，髙斯消元法不只 
是求行空间基的一种方法，而克拉姆施米特过程也不单是证明 
每一个子空间都有正交基的一种方法，而更进一步，我们确实箱要 
这些算法.并且需要对它们功能的一种方便的描述，如或 

在这一方面，本章将要作一些进一步的 探讨‘ 以本人之见，这 
呰进一步的工作实属计算之必需，并#锦上添花之举 a 但是，我不 
知道，是否应当对此表示歉意，这些工作似乎是很肤浅的 • 其实不 
然.它们所涉及到的是本学科中最古老的也是最基本的问題 A * = 
&和但是，实际上这些问题都是现代数学家们所构思出 
来的。 在数值分析中，也有某种适者生存的问题。下面我们想介绍 
几个到目前为止仍然行之有效的思想_它们可分为三组. 

1. 方程组4^=&的解法。髙斯消元法是一个很完善的 算法. 
如果个别问题具有某些特殊性质■几乎每个问题都有一-或许是 
例外的。我们将集中讨论矩阵 A 的稀疏性质，此时，它的大部分元 
素都为零。同时也集中讨论解方程组 b 的迭代法的发展，而 
不兒立接法 • 迭代方法是“自校正"的，这种校正过程多次 重复。 
虽然利用迭代方法永远得不到精确答案，但我们的目的是耍比消元 
法更快地得到近似解 t 在某些情况下，这一点是可以做到的•如果 
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利 JlUi'V 分解，在许多 K 它情况下，消元法更可帒史 迅速。 这种竞 
孕 还远未见分晓。我们的诏一个目的 就足迠 立保证收敛到真实解 
A ^& 的条件，此条忭将制约敛速。在 §7. 4屮，我们将这些条件应 
川丁_逐次超松弛法以及 K 它的迭代方法之中。 

问题 = h 的解特征值问题适数值分析中相当成功 
的例子之一 „它定义沾楚，竞义1然，不过，不久之前却无人晓得 
如何求得其解.矜经冇人提出过儿十种算法，3然，还不能把它们 
排列成一个从妓好列敁坏的优劣顺序农 ，一 扨取决 于矩阵 A 的性质 
及芄大小，以及取决于我们想要计算的特征值的个数。换句话说， 
如果对 于特 征值的怙况一无质知 ，就向 计货中心去索取计算特征值 
的子程序那是危险的 （ a 然，我希望你们不必去检验这些程序的每 
- 个 FOR TR AN 语句: ) 4 W ; n son 和 R e ; ti s ch 的名; *' 阐述了一系 
列烊法，我们从屮选择了两三个，这些兑法几乎把前 M 所有的算法 
都取而代之： Qfiim , 幂法以及将对称矩阵化为三角形的变换 a 

前两苕为迭代法，而后若则为直接法，此法有限次运算即可实 
现，但最终不给出特征值，而仅给出应用迭代法的最简化形式的矩 
阵. 

3. 矩阵的条件数。 §7. 2 试阄对灵敏度或昔 B 弱解"做一度 
量： 如采 A 和 b 稍有改变，那么这对解; c=A _1 b 会有多大 影响？ 
在研究这个问题之前，我们想指出一个障碍（这个障碍容易避免）。 
应当有一种測量矩阵 A 的变化量并且能够估计矩阵 A 本身的大 
小的方法。向 M 的长度已冇定义，现在我们需要矩阵范数。此后， 
条件数以及随之而采的矩阵的灵敏度将从矩阵 A 和 A— 1 的范数直接 
得采 • 
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§7.2 矩阵的范数和条件数 


误差和错误是很不相同的两件事。误塞为小小的错误，甚至连 
很髙明的数学家或者计算机在其工作中也是避免不了误差的，而错 
误要严重得多，其大小至少要比前者人一个数_遠级。 

当计算机对某数值之第九位有效数字进行四舍五入时，这便是 
—个误盖， IU 当某问题异常灵敏.以致这样的四舍五入误差完全改 
变： R: 解时，那末，儿乎可以肯定，有地方出现了错误。我们在本节 
中将对误差的影响进行分析，以达到避免错误的0的。 

实际上，我们继续第一章中开始的关于矩阵 

A=f 1 1 "I 和 A / = r°* ooo] 0 

[ 1 l.OOOlJ [i 1 J 

的讨论 D , 

我们说过，为 良条件矩阵，对四舍五入的误差并不特别敏 
感 （ 除非 Gauss 消元法用得很笨拙，这时矩阵即变得异常容易破 
坏）。把 0.0001 作为第一主元将是一个大的错误，因此，我们必须 
通过矩阵 A' 的行交换的方法来选择较大的更为可靠的主元。当 
在消元算法中安排有"部分选元"，以使计算机自动寻找最大主元 
时，对四舍五入误差的自然障碍，就不再构成威胁了。 

我们如何度 S 这个自然 障碍？ 如何决定某矩阵是条件优者述是 
条件 劣者？ 如果 b 或 A 中发生了小小的变化，这将在解 * 中引起多 
么大的变化呢？ 

我们从右侧的变化开始，它从 b 变到 b +孙。 此误差可能来 fi 
试验数据或者来 S 四舍五入，我们 假定邡 很小，但其方向我们不控 
制，和应解从 x 变到 x +办： 

,4(x+ax)= b +6b, 相减后得 AC&)=5b 0 
这是®简单的情况。我们研究所的扰 动舳并 对扰动之结果知= 
/TMb 做出估价 8 均 A— 1 相当大时（ A 儿乎是奇异的)解的变化将很 
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大。而当向量彻指向被矩阵 放大最 甚的方向时.解的变化将特 
別大。 

首先让我们假定，矩阵 A 晃对称的，且其特征值均为正 ： 0< 
八<入<…<1。任一向量舳都是相应单位特征向幫^,.…， X ,之 
组合，且苡坏的扰动乃是第一特征向 Mx !方向上的误差： 

如果 (5 b = eA ：,, 则 <5 x = 5&/ A ls ( 1 ) 

向量大小的误差 II II 被因子〗/1所放大，而此因子恰为矩 
阵八_>的最大特征值„ 当 / h 接近零时，此放大作用最甚，故近于奇 
异的矩阵是最灵敏的， 

此种灵敏度的度量法只有一个然而却是严重的缺陷。假如我们 
把矩阵 A 的每一元素均乘以1000,那么 A 将被放大至1000倍，看起 
来，矩阵的奇异程度就要小多了。 这伤 害了我们的正义感因为如此 
简单的榇度变化并不能使病态矩阵成为优条件者„是的，将被缩 
小至原来的〗/1000,但解亦将被缩小至同样的程度，于 
是，相对误差 1| 加! l/|j * 将依然如故.分母中的因子 l | x | 「会使 
问题正常化，使之不受标度无谓变化的影响.同时.也有相应的<5& 
的正常化问题。我们的任务是要対相对变化 1| db ll/ll b II 和相对 
误差 II 知 II/II x II 做一比较， 

最坏的情况是当分子 II 知 II 很大 （ 即扰动与第一特征向量 A 的 
方向一致）,而分母 j | x || 很小时的情况„无扰动解 * 与无扰动之 b 
相比较，应该是可能情况下的最小者。这就是说，原问题 Ax = b 
之解应当在另一个极端方向，即在最后一个特征向量之方向： 
如果 b = x x , 则 x ( 2 ) 

正是这样一种组合，使得相对误差在可能 
情况下最大.这些就是下述不等式之极值情况《 

7 A 对于正定矩阵来说，其解和误差知= A — Mb 永 
远满足不等式 

Mil >」丨士[和[| <5^ !i 1 MI - (3) 


. 31 ? . 



因此，相对误差由不等式 

IAAJI ( 4 ) 

II « [I ^ || b II 、 ） 

来限定. 

数量 c = 称为矩阵 A 之条件数. 

A | /Lmin 

例1矩阵 

1 

L 1 1.0001 J 

的特征值近似为 h = l ( TV 2, 夂=2。因此，其条件数约为 c = 
4*10\我们应肖预料到当初始数据有某些很微小的变化时，其解 
会有很大的改变.在前面我们实际上把方程和 A ^= b ' 作了 
比较： 

(w + a =2 


+ 1.0001 v = 2.0001 


且 


则解由 *=( 


(w' + l.OOOl u / =2.0002 
) 变到了 Y = (0 ,2): 


II x ' -x || 

ti ，「 

1] h > ~b 1} 




|| (0,0.0001) 11 
II (2,2.0001) II 


10~* 

2 \/Y 


II & IJ . 

相对放大倍数为 H 知1| / lUi 〜 101 肋 〗/|& 〖.这里没 
有对扰动作任何特殊的选择——我们的浼和特征向量1间构成了一 
个45°角，这正是我们的因子与最坏的放大倍数 C =4.1 M 间相差 
7了倍的原因——但我们仍然发现了解的巨大变化. 

请注意，条件数 c 并不直接受矩阵大小之影响；如果或 
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者驻至 Zl =//1 Q , 则条件 r ■: c u 相比之下，行 

列式则 坫扱态 条汴的一种很好灼度。闪为它不仅 S 标度的毖响， 
而 _ Utii 受阶数! t 的影响；如艰及=7/!0,那么 A 的行列式等十10_\ 
实际上， u 个"近丁-奇异”的 m 阵为可能怙况下的彔件最优者。 

例2 我们来分沦 ci 阶冇限差分矩阼 


A 


其最大特征值约为上=4,而其最小特征值约为厶 = jtW 。 因此， 
其条件数近似为0 = 一 这甩对阶敛 II 的依赖性浩真实存在的„ 
通过增加未知故个数的办法，我们对 一 #= /近似得越好，那末求 
近似解就越闲难„这不汜费时较 K , 而且易受四贪五入的影响。从 
某一转折点开始，《⑹增加实际上将使答案更坏„ 

对工程技术人仍来说，很幸运.这一转折点出现在精度足够好 
的地方.用单精度进行运箅，典型的计 筇机之 Pi ! 舍艽入误差为 I ( T a 
数童级 • 如來在取未知数的个效 it = H )0 的情况下求近似解的话， 
则 c =5000,那末这拃一 个汉茇 設多可能増长至 1£ T 5 数跫级 ^—这 
仍然比任何迎常的计 E 来行精 [ U . 是如果钉〗 000 G 个未知数，或 
苕对于更高阶的方程，识如进行有限莲分近似时， 
就会出现麻烦，对于后 齑条邝 玫增至 M ' 

到0前为止，我们的分析都是针对具冇正 特征值 之对称矩阵进 
行的。本来，我们可以轻而易举地放弃这个正特征值的前提条件， 
而用七之绝对值，此时条件数将变成 c =max W,I /m in MJ . 但为 
摆脱对称性的假定 （ 当然我们正想这样做），就不得 不做重 大的改 
变。对 于矩阵 


♦ 已经为 试验证 实的妞常的母掊足剡火，高斯的元法中，在存在四舍五入的悄况 
下，卄算讥可能丢欠 logc 个十进制位， 
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这一点是很容姑看 出的。 所有特征值均 ； n ,但如果说 ， x 
之相对变化为&之相对变化所限制，那当然是不对的，条件靼并非 
由 Am a x / Ami n = 1所给定。试比较下面两个解 




b 的1味的变化引起了 X —百倍的变化，放大倍数为100\因为 C 
代表此放大作用的上界，所以它至少应为10000。在这些矩阼中， 


我们所遇到的困难在于， A 中对角线外的某一大的元素就意味着在 
A _ i 中夼一同样大小的元素，这与我们的直觉——随着 A 的增大^ A _1 
应该减小~是相矛 质的。 


为给条件数一个适当的定义，我们不得不回顾一下方程 （3),1, 
的所以进入该方程的理由在于，它是1 fc 0对1 xll 之所有可能的比 
值中的缺大 t 。我们曾试图使 x 小而 b = Ax 大。 (极值情况'发屯在特 
征向量 X ,上，那里 Ax 对 x 之比 恰为不再是对称矩阵的情 
况下，唯一不同点在丁 *, I Axj | /[ UI 的最大值可能出现在某个 
不是特征向量的向跫上，这个最大值仍然迠矩阵 A 的大小的一个很 
奸的 度量； 它被命名为矩阵的范数，并用|八||表示。 

7B 矩阵 A 的范数为关系式 


所确定的数 T 换言之，II A | 限制矩阵的"放大作用"，对所有向量 x 
有 II !| < [| A ]| iU || . (7) 

并且至少对于一个非 0 向量 X 米说，等式菇成立的. 

等式（ 5 )中，矩阵八和汲― 1 的范数介于100与101之间 。 稍后我 


- 321 ■ 




们即可将其确切地计算出来，但我们想首先确定范数和条件数间的 
联系.因为 <3^= A - Mft , 故从定义（ 7 )中，我们立即得知 
U II < II All iU II 与 li 知 || < I ! A- A II II db II , (8) 

当 A 为非对称矩阵时.这是对 （3) 的一个明显的替换，在对称的情 
况下 ，II A |[正是夂 ， | A — 1 | 正是 - I / Ah 因此，对于心/1 1 的明显 
的替换应是乘积1 A | | A '* I . 

7 C 矩阵 A 的条件数为 c = j[A i I A' 1 I f 且相对误差满 
足不等式 

如果我们对矩阵 A 而不是对右侧 b 给以扰动，则 

l\ d x \\ |U A !| ( . 

r^r^T <c -Tnr. ⑽ 

不等式 （ 3 ) 对于每一个&和每一个彻都成立，且恰力 （S ) 中两 
不等式的乘积。值得注意的是，当矩阵本身受到扰动时，同一个条 
件数出现于（10)中。如杲 A;e=b, 且01+3八）0( +加）=&,则两 
式相减后.我们得 

A(3 jc +3A( jc + i 3 x ) = 0或 <3x== — A' 1 (<5A){ x +(5^) , 

采向量乘以 dA 所得的放大倍数不会太于范数 \\ 6 AI . 而乘以 A ~\ 
则放大作用不大于II || 倍。因此 

IMx|t< II A- 1 [| 1[ 5A II |j* + 6x|| , 

或 


[UA!I - cJi irrr. 

这些不等式意味着，四舍五入误差来自两个方面，第 一 ，问题 
的自然灵敏度，以 C 度量；第二，在求解过程中所发生的实际误差 
沘或 (3A。 这就是维尔克逊误差分析的基础，因为消充算法实际产 
生的是近似因子1/和所以它解的是有误差的矩阵方程 
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W f , 而不是原矩阵 A = LC ^ Wilki nSO n 逊证明了，部分选主元法 
是可以保证控制住 （ 请参阅其《代数过程中之四舍五入误差》 
— 书 ： 《Rounding Errors in Algebraic Processes ^ ) 所以 
四舍五入误差的全部便由条件数 c 来承担 5 

鲦习 7.2.1 如果 A 为正交矩阵 (?. 求证 | Q II = 1 ,且 c ( Q ) = 
1 ,. 正交矩阵 （ 及其倍数形式 ) 是唯一具釕完善条件的矩阵。 

鲦习 7.2.2 哪一个 11 有名的 M 不等式给出 K ( A+Bh H < 
I Ax \\ + It Bx II , 为什么从（ e ) 中可以得出 g a+b II < IM ! l 十 

n ail ? 

练习 7.2.3 说明，为什么 IIB 1 I Ixl , 并 

从 （6 ) 中导出 II ZB D < I A 0 | S !!。 证明这蕴含着 c ( AB )< C ( A ) 
•< Kb ). 

« 习 7.2‘4 对于正定矩阵 a = [ : : j . 计算 lUT 1 !! 

= 1/ A 1( I All 以及 cCa )^；^；^ 求出右侧 b 和扰动 邡以使 
其解的误笔为可能情况下的最坏者，即 ！1 加 i / | Jf II = C 〖肋 (| / 

I b L 

鲦习 7.2.5 如果 A 为矩阵 A 的任一特征值，，求证 
Ul <| AS . 

范数公式 


矩阵 A 的范数为任一向董(特征向董或非特征向董)乘以该矩阵之后 
所得最大变化*的度董 ； ii A I = max ( lAxl/UW ) .单位矩阵的 
范数为1，为计算一般情况下之此 "放 大因子”，我们把等式两端 
取平方 * 


M 卜唐^^=脈今# 01) 

所得关系式又把我们带到对称矩阵及其 - Raleigh 商” ^ 

7 D 矩阵 A 的范数等于矩阵的最大特征值的平 方根： 
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\\Ai max (AM), 如果 A 为对称矩阵，那么二 A ; , 因此 
范教等于 S 大的特征值： \\ A \\ =raax . 在每一神情况下，被 
放大最甚者乃矩矩阵的相应特征 向量： 


x r A r Ax_>: r ( ； .maxy) 
X T X ~ x T x 


= Amax l 


II A || 


注 1 矩阵 A 的范数和杂件数，在实际问题屮并不真正计箅出 
来.而只是估算出來.我们没有时间为求 Amax(/TA) 而解特征值 
问题. 

注2条件数说明，正规方程 Af/U 二 A F bt?1 段小二乘法何以很 
难求解.条忭致 c(A f A) 是 c(A) 的平方。构成可把一个好问题 
变坏，除很少问题之外，应用 Cramer~Sclimidt 过程或奇异值分解 
法4 = 0 JOi 要好得多。 

注3 对角阵2中的诸元素〜力矩阵 A 的奇异值，且从结构上 
看，它们的平方即为矩阵的特征值，闪此，范数的另一公式为 
[| A B =cTraax s 在关系式 || Ax || = D <?i 20b |j 中，交矩阵(^ 
和0,并不改变向量的长度，闳而最大的放大因子等于最大之 <7。 

注4 四舍五入误差不仅在解 Ax=b 时会发生，而 ii 在解 Ax= 
k 时也会发也 . 这就提出了一个新的 问题： 什么是 ** 特怔值问题的 
条件数” ？认为这个答案显而易见那便错了 D 不是矩阵 A 木身的 

条件数，而是对角化矩阵 S 的条件数，它度1特征值的 M 敏度.如 
果 p 是矩阵 a + e 的特征值，则它与矩眸 a nr 二持征值间的距离为 
l^-^l < II S II II S' 1 IJ \\ E \\ = C (S) || £|] (12) 

如果 S 为正交矩阵 Q ,则特征值问题条件 完美： c(0)= I ,且特 
征值的变化量^ J 不大7。矩阵4的变化量 B . 只要 A 的各特征向 
饵构成正交系统，它们为矩阵 S 的列，这一点就会发 屯， 因此，最 
好的愤况是 A 为对称矩阵，或吏一般地讲， AA r = AM. 此时 A 为 
—正规阵，其对角化阵 S 为一正交矩阵 Q (见§ 5 . G) ,其特征值条 
件完美。你们可以看到 S 存在丁*毎一个单独特征值的扰动公式中： 
如杲;^为 S 的第 fc 列， y t 为 S- 1 的第 fc 行，则 
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〜 一1=^54+ 丨} £ 量级的各项. （13) 

在实践中，能足誃真实地佔计出特征值的变化。每一个好算 
法的思想在于使误遊矩阵 E 尽可能地小，这一点通常是通过在迭代 
法的每一步都坚持要正交矩阵的办法来达到的.下一节中 0S 算法 
正是这样做的， 

絲习 7.2,B 求 （ 5 ) 式两矩阵的精确范数。 

练习 7. 2,7对于练习 5.6. 3中之矩阵 A , 试比较矩阵和 
A/T 之特征值，求证 IS AD = II A r || „ 

练习 7.2. 8对于正定矩阵 A , Cholesky 分解式 = = 

Wnv, 这里 W = v/ 万I/。直接由 7 D 证明矩阵 W 之条枰数等于矩阵 
A 的条件数的平方根 s 由此得出结论， Gauss 算法对于正定矩阵无 
需进行行交换，条件不会变坏，因为 cU) = C OVOc(W) s 

鐮习7, 2. 3通过找出一个关-丁-不等式 Amax(M+B)<Amax 
(A)+Amax(B) 和 /lraax(ABXAmax(A)Amax(B) 的二阶反例， 
以此证明，最大特征值不是令人满意的范数。 

练习 2 _ 10设^ I !山欧儿里得长度变成了 
“最大范数"或范数' 11x1 . = max W (例如， S (1 
2 . 1 ) S 2 ). 试计算相应的矩阵范数，如果 

II A || . = maxi~T^-=max |^i Ax H .. 

§7.3 特征值的计算 

求矩阵之特征值，没有好的方法„但却冇一些蹩脚的方法，请 
永远也不要试用彳然而冇一些思想值得我们借鉴，我们从一个颇为 
粗糙.然而却很 视农的 方 S —一幂法谈起 = 此法的收敛性很容易理 
解，然后，我们稳步地 H 渡到 一 彳、更加复杂的算法，此法由把对称 
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矩阵三对角化开始， M 得到真正的对角矩阵而 告终。 其最后一杂是 
通过 Cramer-Schmidt 过程实现的，而整个方法称为算法。 

—般的鞯法蛊52全按照益分方程的原理来实现的，首先试选初 
始向 M»。， 然后依次形成向二 Aw e , 4=4〜以及一般情况下 
的上述每少均为矩阵-向谴乘法， fc 步之后，得 u t = 
不过矩阵永远不会出现，实际上，最踅要的是，以 A 相乘 
要容易实现 才行一 -如果矩阵很大，嚴好将其稀疏——因为收敛到 
特征向量的过程往往是很慢的.假设 A 具有一完整系列的特征向量 
那么向量 h 将由差分方程之通常公式 给出： 

«i = c 1 /Ux t + …+ 。 , 以 》. (14) 

假设特征值是按顺序编号的，且最大特征值是唯一的，即再没有与 
其模量相等的其它特征值， A ■不重踅^这样仏|<… < U .^| < 
IA.I . 那么，只要初始猜想》。包含特征 向量心 的某一分量，且其系 
数 c •卢0,则该分量就会渐渐取得支 m 地位. 

k \ 

*ff =Cl ( 1~) + … + c ， -i(-- /n /」---) JC.-1 +c,x.. (15) 

向量 U t 越来越接近 A 的方向，旦收敛因子为比值 r = \X n .A/ 
U,| „ 这恰似收敛到某一稳定状态的情形，这种情况对于马尔柯夫 
过程，我们已经研究过了，差别只不过是现在最大特征值 A, 可能不 
等于].实际上，（〗5)式中的比惻因子 W 我们并不知道，而且必须 
要引入某些比例因子，否则，当 IM > 1或 U,l < i 时， w t 会变得 
很大或很小 。 通常，在进行下一步之前，我 们珂以 将每一除以其 
第一分量引入这样一个简单.的比例因子，霜法就变成了 h + 1 = 
Aw t A ^的 形式，它收敛到向量^之倍数值' 

例 （ 来 a 加利福尼亚州）人 n 移动情况之矩阵曾经是 a = 

[ 0.9 0.2 I ' fO.6671 

. 其特征值为 i , 特征向量为 L 

0.1 0.8 J 10.333J 


* 这些比例因子也收敛， 
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，卜叫 ^ JO -747| 、 

f_0.219j 」 L°* 253 J. 

幂法的严重的局限性，由此例中可以清楚地看出：如果 r 接近 
于】，则收敛过程很 缓慢。 在很多应用扬合 f >0.9, 这就意味着， 
为使 a / A ,) 1 降低到原来的1/10,就需要20多次迭代 （ 在我们的例 
子中 ， r =0.7, 收敛过程仍然不快） 。当然 ，如果 r == 〗，这意 
味着 U.^J = U.I ,则可能根本就不收敛。有若干个克服此局限性 
的途径，我们将讲述其中三个 ； 

(1) 分块幕法，同时取若干个向量，而非单一的 》 it 如果我们 
开始取 P 个正交向量，将其均乘以 A ,然后用 Cramer - Sclimidt 法 
使之再次正交化 （ 这是此法的唯一步骤）那末，就会把收敛比减小 
到 〆 = . 进而，我们将同时得到 P 个不茼特征值及其特 
征向量之近似。 

(^，逆冪法用八― 1 ,而不用 A . 此过程的单一步骤为 u + 1 = 
这意味着，我们对线性方程组 , =〜求解 （ 并保留 I 和 
1/因子1 )„ 在这种情况下 f 如果收敛因子 Ud / Uj 小于1 , 
则在理论上保证收敛到最小特征值。在应用中，所需要的往往正是 
最小特征值，这时人们就自动地会选择逆幂法. 

(3) 移位逆幂法最好。假设以代替 A a 则所有特征值1 
都被移动同样一个量值《，用于逆幂法的收敛因子将变成广= 
«!/!^-«| . 因此，如果《选择得很近似于 ; U ,则，将很小，于 
是收敛过程将大大加速。此法的每一步都在于解方程组 （ A ~« J ) 
W t + j *= W t , 且式 

= = _ C > Xl — 4 - C J_J. - 

满足上述差分方程.如果 CC 接近则上式右端 第一项 之分母 
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十分接近 f 零，从而只需 一 、二步就可使第一项取得完令支配地 
仪。 在个别情况下，如果 A 已 fHK 它汀法（例幻 QR 買边） 灯出， 
即可取此箅得的值为 a. 标准作 U； 在 f 将分解成 LV ,并用 
W 代法解1尸方程组， 

尚末绍沾独立的详法求沿近似值，那末，移位幂法不得 
不选择 a ,成者 （ 闪为在每一步我们都可以拫据 S 己的意瓰來 
改变位移蛩 ） 可以选抒关系式 （A— 〜/)% +1 = 1%中的 G ,。 最简单 
的可能性就是只用把每一个叫限制到适当大小的比例因子，但是， 
尚有其它货好的 方法. 在对称的怙况 T, 即焱=4' 最精确的选择 
似乎尭 Rayleigh 商 

« t = R ( w *) == - U - i ^ i - 

KUlt , 

我们已经知道，玫商在特征 Hfti 嵙一最小点，在这一点 R 的 
诸偏导数等于零，此极小点的图形类似 T 抛物线的底„因此，特征 
值的误差大致等于特征向量误差的平方。收敛因子广= U,- 
叫|/ Ms 每一步都在发生变化，实际上 ！•》 本身也收敛于零， 

选瑞钊商作为位移 a 时，我们得到 A 向 A 的立方收敛之最终结 


练习 7.5.1 对其特征值心=1,/ 2 =3的矩阵 A 

进行三次幂法 》 t + 1 = Atu 迭代，初始值为〜=〔1 ,0〕 T , 极限向量 
L 是什么？ 

练习 7.3. 2对于上题的矩阵 A ,初始值为〜=〔 3 ,4〕' 试 

• 这 W ® 法，可能讶起来条件异常 g 劣， 因为® 们耵使矩阵 /(-( Ji 非常®于竒 
这电 的汊差 中在矩阵 a 之符 sna 的方 向上。 r 力 n -— 
之位数仍为 一持证 向贷.&这氐戈!1']5计详的唯一方向 11 
•• 线性收敛的意 甩是， 毎-■歩均误耸乘以 >■< 1沿一个闶定的因予,平方收/ 
议迸咔管每一*，对 M 咢*耍 a 行予乂_. . W/(r> = 0之十'顿法 r». . --1 = 
立方收 a 的®义是 ， HE —歩该崔 均进行 立方，沉 Sj t 
从 10-1 到 HT 3 到10' 9 。 
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比较下列 结果： 

( i ) 三步逆耔法 



(ii) 一歩移位逆攝法 w t = ~ 1 w n ,其中 (X =HoAMo/ 

现在的极限向量 u •为矩阵 A 之另一特征向量 （ 1 , 1 )之倍数， 

三对角碎和 Heist nij erg 形式 

仅仅对于大而又1 •分稀疏的矩阵，我们才推荐用幂法；当矩阵的 
大多数元素不为零时，此法不宜应用 D 因此，我们探讨这样一个问 
题，有无某种简承的方法在矩阵中得到零元素 s 这就是下面几小节 
目的所在. 

甘先应该指出，在计算相似矩阵 IT 1 AU, 且其中零宂素较矩阵 
A 中为多之后，我们并不主张回到幂法，还贫几种深入得多的变 

其中的最佳者似乎是 QK 算法 （ 移位逆幂法在最后求特征向量 
时还要用到）.在任何情况下，第一步均在于获得尽可能多的零元 
素，且用尽可能快的方法来实现这一点„限制速度的唯一的因素在 
于我们要用 H 变换（或正交变换 ） a 这 A 变换保留对称性和长度。换 
tf 之，如果 A 为对称矩阵，那么 t/MAt； 亦将为对称矩阵，且其任 
—元素均不会变得超然之大. 

从 A 变换到 tZ—AU, _电少有两种可能性；或者我们每步产生 
一个零元素（如 G aUSS 消元一样），或者我们一次取整个一列。为得 
出单个的零元素，我们应用平面旋转，正如 "F 面 （21) 式中所示范的 
那样就足够丁.那里的旋转矩阵具釘一个含有 COS 0 和 sint) 之二阶子 
阵块.然后我们可用同样方法來处理对角线下之所有元素，每步选 
择一个能产生一个零元素的旋转角这便是雅可比法原理.很遗 
憾，有限次旋转之后，我们并不能使 A 对角浅化，因为前几步所获 
的零元素，在后续步骤产生新的岑元素时行将被破坏。 

为保留已经得到的零元素，我们不得不在将矩阵化为几乎近于 
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三角形式时就适可而止，在主对角线下保留一个非零对角线•这便 
足所谓 Hessenberg 形式。如果矩阵逛对称的，则上三角形部为本 
矩阵 T 三角形之镜象，从而矩阵将是三对角阵， 

这两种形式，过去均通过在适当平面中进行一系列旋转而得 
来，但是 Householder 找郅了解决这一问题的新方法.他的思想为 
OR 法提供了 “预备步骤”' Householder 变换，或称为基本反射 
(elementary reflector ) 是由下述形式之矩阵实现的. 


2vv r 


v 往往被规范成一单位向量，这时 H 就变成了 J 一 
2im T 形式，在这两种情况下， H 为对称且正交的矩阵， 
H t H=(I~2uu t ) t (I~2uu t ) 

■-=I~A：uu T + 4uu r uu T = l. 

这样， H=H 在复的情况下，相应之矩阵 I~Zuu« 既为 

Hermite 型又为酉犁. Householder 的计划就在于以这些矩阵来产 
生零元素，且其所以能够成功是基于下述恒等式。 

7E 设 z=( 1 , 0 0) r , |U j| , u=x+az a 那末似 

=—oz = (—a, 0 0 ) r 。 

证 


Hx- 


■^= x —( t x -\- az ') - 


2(x+az) T x 
(x+az) t (x+oz) 


^ x — ix + oz ) (\ , x T x ^ a i ) 

= ~ uz , (16) 

我们立即可以应用此恒等式。我们从 A 的第一列开始，同时要记 
住，最终应该得到矩阵 A 的三对角形式，或 Hessenberg 形式 tT 1 
AV. 因此， 、对角线下只包含有1个 元素： 


* 如乘 KS, ft 们可以不进行这项 M 备步驟， fM 直接过 ffi 到所述的£3开算法-只 
是在实 S 计算中，才 B 要首先产生零 元素. 
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0 



(n) 


在这一点上 Householder 矩阵 H 仅为 n — 1 阶，因 耽， 它被置 
于满阶矩阵之右下角； 

j 1 0 0 0 0 1 

I 0 ! 

U 0 ,= t /7 1 , 且 

0 H ' 

\ 0 丨 


IV AU 】 — 


因为左上角为 1 , 故矩阵使元素 ail 完全不变，而更重要的是， 
它不触动 （17) 式中出现的各零元素。所以，第一步即告完成，且 
含有所要求的第一列 s 

第二步类似第一步 ： 由第二列之最后《—2个元素组成 ， z 
为相应长度之单位向量，^^为^一〗阶 矩阵。 当我们将其置于 U s 
中时，我们得到 


1 0 0 0 0 


U t = 


0 10 0 0 
0 0 
0 0 


卜 R 1 , 


VO 0 


* S 3 I - 




* • » # * 


U-^CU-^AU^U^- 0 • » * • i 

: o 。 … I 

1 0 0 • * * /. 

最后，1^ 3 将处理第三列，对于五阶矩阵来说，这样就可得到 
其 Hessenberg 形式。在一般情况下， U 为所有矩阵的乘积 
U ,.,, 而计算17所需之运算次数为 M 数虽级 5 

例 



将 H 代入I；中，得三对角矩阵 

i 0 0, r 1 - 1 

U=\ 0 0 - ] U~ l AV 叫一丨 0 : 

[0—1 c , L 0 ii J 

tr 1 au 力一其特征值可以很"使地求得的矩阵——立即可用 OR 算 
法——但这里我们暂时先压下主题来提汞一下 Householder 变换的 
另两个应用， 

I 因子分解乂=0尺.这是第三章中 Cramer-Schmidt 过程之 
简写形式：而现在此 H 程实现起來会更加简单，更加稳妥，请记住， 
K 为右上三角矩阵，我们再也没有在主对角线下破例接受一个非零 
的对角线的客观霜翌，因为右面不会有象在 1 AU 变换中那种对已 
经产生的枣元素起破坏作用的 U 或 H 因子。因此，建立 Q 之笫一歩 
应与矩阵 A 的整个笫一列打交道， 
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牝时，矩阵的第一列恰好是我们所希望的：它等于 
主对角线下的元素为零，并且这是《的第一列，第二步实现矩阵 
1^4第二列的变换，包括从对角元开始向下的各元素，结果，产生 
一个矩阵过 2 /^八，此矩阵第二列中上述对角元下的所有元素均为 
零 （ 整个算法非常近似于高斯消元法，实际上这是一个稍慢一点的 
方案）„ «— 1个步骤的结果又是一个上三角阵但是，实现各 
步骤的矩阵，并非下三角阵而是乘积0 = 它可 

以保留成这样的因子形式，并不需要明显地计算出来。 Cramer 
-Schmidt 过程就此结束。 

I 奇舁位分解 （f 154页），此分解按 最小二 
乘法立即给出了 对任一 问题之最优解我们提稱一下为 g A 同 
形状之对用矩阵，且其元素（奇 异值# ) 为矩阵 AVI 之特征值。因 
为 Householder 变换仅能为特征值问题准备出一个矩阵，并不能求 
此问题解，故我们不能期望这些变换产生最终的矩阵2。然而它们 
都产生一个双对角矩阵，此双对角阵中，除在主对角线及其 上面一 
个对角线上外 f 其余各处均为零。当然，这个预备过程从数值上讲 
是稳定的，因为各 H 矩阵是正交的。 

此过程的第一步和上述分解的第一步完全 一样： A 的第一 
列被选作 ilH# 第一列对角元之下各元素均为零.下一步便是 
将比4在右倜乘以如下所示沿第一行产生零元素之矩阵 H' 


‘H!A= 


* * 1M . 

曠康 * —► H ： 


03) 


• 333 _ 



此后，最后两次 Householder 变换给出 

f • * 0 % 

1 = 0 • * • 和 

L 0。 

HjHMH 1 H 2 = 0 * * 0 

'•00**. 

这就是我们所耍得到的双对角形式，同时也再次分步示范了通过 
Householdei ■变换可以产生零元素之快速 方法。 

练习 7.3. 3证明对于相同位度的仟何两个不同向量 1 x 11 = 
iy I ,选择 ■— y 会导致使 和 的 Householder 变 

换。 

练习 7.3. 4紂于 



计算 v = x + 扣及 相应的 Householdei •矩阵 ff , 验证 
Hx ^~ az , 

缟习 7.3. 5利用 7.3. 4求出从矩阵 

-[-：] 

L 4 0 0 J 

产生出来的三对角阵 

Qil 算法 

此算法简单得几乎神奇。它以矩砗 A 。 为开始，用 Cramer 
Schmidt 法将其因子分解为然后交换两个因子的位置，得 
A ^ R a Q , t 此新矩阵与原矩阵相似， < TM D 0 D = (?~ K <?。 及。>仏= 
，此过程继续进行，同时特征值不发生变化^ 

A 产 Q * R * 且 A^i = K *0*. (19) 

* 334 - 


此式描#的避无移位 (3R 算法，并丑在相当普遍的情况下，它是收 
敛的： 趋近于一个三角矩阵，囚此，其对箝元趋近其特征值，而 
这些特征值同时也是原矩阵之特 征值' 

现在的情况是，此算法好，但却不很好。为使其专用化，箱做 
两方面的改进 I (a) 我们应允许原点移位： （b) 应保证每步之 QK 
因子分解颇为迅逨， 

O) 移位算法如果数值&接近某特征值，则步骤 （19) 应立即 

移位 

A — a , I ^-- Q t R- ir 之后 A t+ 1 =-RiOt+tt*/ (20) 

这种 H 彼并不改变具特征值，因为,相似于 

Oi 1 (<?t^i + tztJ)Qi == At + 1, 

实践中所发生的情况是，矩阵 Ay 之 （《, «) 元素（即右下角之元素 i 
第一个 技近某 特征值，因此，把该元素选作位移量《，即最简单、最 
昔遍的做法 • 通常，其作用在于产生平方收敛性，而在对称的情况 
下，甚至产生立方收敛性，收敛到最小特 征值。 或许移位算法三、 
四步之后，矩阵 就会 其有下述形式 


A *-： 



艽中 e « 1 . 


我们将已计算出的 U 视为 真实； l t 的非常接近的近似值.为求下一个 
特征值，应对左上角的较小矩阵（图中为三阶），继续应用 OK 算 
法„其各子对角元在 QJ? 算法之前几步已稍有减小，从而再有两步 
即足可求得上述内容给出了求所有特征值之系统步骤序列.实 
际上， QK 箅法现已完全讲述完毕„所剩工作就在于求出特征向董 
C 这只不过是逆幂法的一步）及利用 Houseliolder 法产生 各零元 

_ 

• do 系 Qff 笄法以 其开始的矩阵 3 如*它■本身岛 ffl 过 HouscfioUer 交换得来的， 
S 为三对角®式， ElMd 与眾矩阵 4之 跃系为 4(1, 
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{b)&l 畀 r±HOUMh o 1 rle r 变唤， 得疋 f 匕成二对角或 Ih sse nber g 
形式，其 S 的在于使 OR 兑法之每一步做起来都很迅速。通常， 
Cramer-Schmidt 过程（即 QK 分解），要进行 0(n s ) 次运算，似対 
Ilesscnber^ 矩阵来说.就变哎了 0(^) 次，二对角矩阵则只需 
OO) 次，如无此改进，该： P: 法将婭一个令人无法忍耐的慢过程，而 
1L, 如不 保证 每个新 的斗矩 阵再次凡有二对角形式或 Hessen berg 形 
式，那么此项改进只能用于第一步，因而也逄无成效的. 

幸好，足不会发生这种情况的，为证明 Ai A 有和 A 。 相同的形 
式，我们来研究一下矩阵 - 


Oo = -^ O-Ro 1 = 


• 1 [ # • * * '1 

# * * » : iO 修柰奉1 

I i I 

0 " • [ [ 0 o . » I 

0 0 » * /' 0 0 0 * I 


你可以很容易地检查出来，牝乘法使0。保留听具有的彐个零元 
素，即仏本身为海森堡形式。此后，矩阵 Ai 通过交换因子位置的 
办法来形成，因此 



这三个零元素将又重新出现在乘积中，故无论何只耍为 
Hessenbprg 抵式，则 Ai 亦为 一 Hessenberg 矩阵 - 对称情况将会更 
好，因为仍然是对 称的： 

AJ = Q / ,,Ao(Qo 1 ) 7， = Q^ 1 A 0 Q 0 =Ai. 

根据上述推理，这样构成的矩阵八,也具有 Hesssmberg 形式。又因 
为它既对称又为 Hessenberg 形式，所以为三对角阵。同样的论 
据也适应于后续矩阵 A 2 , 这就菇说， 0 S 算法的每一步均 

以三对角阵开始. 

最后驽许解的一点是因子分解丰身，即从初始矩阵产生 Oo 和 
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心（以及由毎个丄产生 Odrn, 或者实际上由皋 - 以产生仏和見） 


的过程 D 这里我们可以再次应用 Householder 变换， {U . 通过平面 
“ 旋转 ” 依次消每个对角元的办法会更加简单1第一次旋转将存如 
下形式 


:;;I ⑻ 

0 * * j . ' 

此乘积中之 （2, 1) 元素为 ausinO 屮 a slCOS 0, 于是我们就选可使此 
项为零之角I此后， P S2 也以同样的方法来选择，以使矩阵 
，之（3,2)元素等于零„ «—1 次此类初等旋转之后，最终结 
果便为上： T 角因子 

Ko=F.,-i—PaiPsiAo. (22) 

关于计算数学中最值得注意的算法之一，我们所能讲述的就是 
这些(在 WHkiusoii 和 Stewart 的著作中有关于此方法的详细论述广 
练习 7.3. 6证明从巧阵 A e = L — 丨始，无移位算法 

只产生改进不大的 

嫌习 7.3, 7 对矩阵乂 =[工^ f] 应用 OR 算法的一步，位 
移量取在本题之具体情 况下， 这就意味着无移位，因为 
0 . 求证，非対角元将从 sin 0 变化到(立方收敛之一 

例）。 

结习 1 3.8 证明 H 对角阵 A = [^ 在0尺算法之每一步均 
保持不变，因此，这是罕见的收敛性的反例之 一. 此现象可通过引 
入任一位移量的办法来消除。 

鲽习 7.3. 9用归纳法求证，对无移位之 OR 箅法 t 乘积（0。0, 
•••QOd-JiiR。） 恰为矩阵 A* +1 的 OH 因子。这种重合现象将 Q 尺 
箅法与幂法联系起来了，并成为其收敛性的一种解释：如果 WJ〉 
u*i >〜> Ud . 则这些特征值将逐渐以降序出现在矩阵 A 之主 


I j 4 0 


Icos 9 一 sin? 
J sin 8 cosft 


!卜 

“ o 

U 0 
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对角线上， 


§7.4 解方程组 Ax = b 的迭代法 


为解方程 MAx = b, 我们并非绝对需要用迭代法，这与特征值 
问题不 1H ,那 见 我们无选择的余地 ,Gau ss 消元法在符限的若干步骤 
之后，就可给出解\只要这些步骤的总致是适当的，那么我们就可 
Jil 这个方法。另一方面，当 n 3 /3 餃偵很大时，我们可用快速方法求 
得 x 的近似解，如果开始用了淸元法，遇到困难就半途而废，那菇 
没有价阻的.我们的 S 的在于讲述一些求解方法，它们由任意的初 
始猜想 、开 始，然而由前一个近似值4产生改进的近似直 A +l , 
并且用这些方法的上述过程可根据我们的意愿随时终止. 

这样的方法很荇易构思出来，只要用矩阵 A 的分裂法即可奏 
效，如果 A = S — r , 那么方程组便等价于方程组 S «= rx + 
b 。 因龀，我们可试闬迭代法 

^ x ： + 1 =TJCj+ij (23) 

当然，这种方法是否就好，并无保证。为使此法有效，矩阵之分裂 
需满足两个不同的 要求： 

( i ) 新向廬〜 +1 应容易算出。因 jSw s 应为一簡‘单且可逆之矩 
阵。它可以是对角阵或三角阵1 

( ii ) 序 列心应 收敛到真实解\如果我们从厫力•程中 
减去迭代式 （23) ,其结眾就会产生一 个只 含误差 ep — xrz 公式 

Se t+l = Te t (24) 

这只是一个菪分方程 s 它从初始误差 e , 开始， fc 步之 a , 得新的误 
^ e ^ CS ' T )%, 这里的收敛问题恰等价于稳定性 问题： 

0时， 

7 F 当且仅当矩阵 S ^ r 之每一特征值 A 均满足不等式 Ul < 1 
时.迭代法（ 23 )才收敛。其敛速取决孓 U | 之最大值。后者被称为 
矩阵 W 之谱半径： 
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( 25 ) 


p($ - *T) =niax ■ 

切 s. 

e^Ci/li 1 ^!-! - l-c,/lSx„. 

M 然， U,| 中之崁大者最终将取得支配地位，并将决定着 e* 收敛到 
零的速度， 

对迭代过程的两项要求，具有某种程度的矛盾性。在一个极端 
情况，选矩阵分裂 S=A, T=0 ,我们即可获及收敛性，迭代过程 
的第一也是唯一的一步将为在这种情况下，误差矩阵 s^r 
为0,其特征值和谱半径亦均为零，因此，敛速（通常定义为 
一 logP) 力无限大. 

但是 f S=A 当然可能不易求逆，这便是要进行矩阵分裂的原 
由，另一个谀端情况，我们可以把 S 选作矩阵 A 之对角部分，此时 
之迭代法即变成了雅可比法： 

Oi i(*i)*+! = (—s«3 *U.)i+bi 

. ( 26 ) 

a. l (j(,>i + j = C~o*iJi I ~u 2 — ‘" 一 a„—lA—Oi + b ， 

如果对角元〜全部为菲零元素，且 A 为稀疏矩阵，其右方的大 
多数项都不存在的话，则从 A 到 4 +1 的一步很容易实现。重要的 
问 M 在于迭代过程是否收敛，如果收敛，敛速如何》 

例1 







5_ [ 了 二 


0 


如果向量 x 之分量为 yftiw , 则雅可比法 Sx t +1 = T ^ t + b 为 
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2w k+ i^v t + b2 


或 I 

起决定作用的矩阵 s 〃 r 之特征值为±这意味着误差每一步降 

低二分之一（准确值又增加了一个二进制位）。在此例题中.收敛 
速度很快，但此矩阵太小，不 S 做典稍。 

如果我们试围设 .皆 -1、较大响矩阵 A , 那么 （26) 式之; Facobi 迭 
代法马上就会遇到一个很实际的困难，它要我们 保留心 之所有分置， 
直到近似值 A + , 计算完毕 为止。 一个更加自然的思想，要求倮留的 
东西只有 Jacobi 法所要求的一半。这个思想在于，新向量* 1+1 的每 
一个分量，一迂计算出来 f 便开始应用，这样，将逐渐取代 
每次取代一个分量 ■ 因此，当4 +1 被建立起来时，&即可不 
予保留„ 

这就是说，第一个方程仍然与前相同： 

ai i(JCi) i+l = ( —U 2 _U 3 - * — o t ,A：,)*+(), , 

下一个方程立即以此心之新位进行运算： 

a a i(?c 2 )t +1 =-asi(^i) t + i +(*-Q 2 3 JC 3 

- 02,x,)i+b z . 

最后一个方程将全部用新值： 

o„<je,)n-! = ( — «. -0.2^2 - 

上述方法纵使显然不为 Gauss 听知，并非 Seidel 建议，但仍被称为 
Gauss - Seide 〗 法， 这是历史上使人惊奇的一点，因为此法并不 
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炻。谙注意，当 A + , 中之所有项都被移至左鳃时，矩阵 S 即为 A 之下 
三炻部分。在右侧，别下裂矩阵中矩阵 r, 这是严格上 
三炻矩阵， 

例2 



C；auss~Seidel 法之一步，将分 ®y t 和 w t 览入 

=w* + bi f 2 0 1 f 0 1 1 

2w^ +1 =t) t+i + b 2 L _ 1 2 J i 0 0 J 

矩阵 S^T 之特祉值又是起决定作用的，当然，它们很容易 眾得： 
& +和零 „误差每次均除以4,所以 Gauss-Seide〗 法之一步等 
价于 Jacobi 法之两步*。因为此两种方法所需之运算次数相同，由 
于我们只用新值取代旧值，实际上会节省计箅机之内存空间，故 
Gauss - Seidel 法 较好， 

ft —种方法可使 Gauss-Seidel 法得到更进一步的改进„在手算 
年代，曾经发现（可能是偶然的），如果在 il •算机校正值 
吋，我们和稍超越一下 Gauss-Seidel 法，则收敛过程会更快。粗 
略地讲，普通方法单调收敛，即各近似 值心停 留在解 x 的同一惻. 
因此，人们自然要试图引入一个趄松弛0子《,以使近似值更接近 
丁真实解，0=1时，即为 Gauss-Seidel 尔法； 《>1 时，此法称为逐 
次超松弛法 （SOR ) , «的最隹选择决定于所解的问题，似永远也 


m 然可以举出其它一些 Jacobin 收敛，而 Gauss-S«idel 法不收敛的反树，但这 
个规则对很大一类应用来说，还; a 有效的》对称情况最为直观，如#所有山彳> 
0, »当且仅当 J 为正定矩阵时， Oauss-Seidei 法才收敛。 
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不会趙过 2, 往往为 I.S 左右. 

为将此//法解 释得更 明白，令 D、L 和 tJ 分别为矩阵 A 之对角， 
严格下三炜和严格上二:角部分。 （ 此分裂和 Gauss 消元法中的 

没打丝毫关系，突际上，现在我们有 A^L+D+C^ ) Jacobi 
法巾， （23) 式之左侧为 S=D ，右侧为而 Gauss-Seidel 
法则选择裂矩阵 S=D + LT(1：T=-I^ 现在，为加速收敛过程，我 
们转而考虑迭代法 

(Z>+oL)x i+ 1 =((l — «)D— + (27) 

注意，当 0=] 时，我们得不到加速，恧又网到了 Gauss-Seidel 
法。但是，不管《如何，左侧之矩阵为下三角阵，右侧为上三角 
阵. 因此，一旦某一分量计算出来，我们仍可用分量逐一地以: 
取代\这时，髙斯——赛德尔法之一个典型步骤将再冇下列形式 
a»C*,)t+i = Oi,(^)*+wCC~o. - a,,_ !Xj_ , ) t+ 1 

+ ( — fl . iX ,- - 

如果旧猜想^^与真实解 x 巧含的话，则新猜想心 + , 将与心 相等， 
因而拮号中的表迖式将等于零. 

例3对于同一矩阵 A = f 一 f ~ J ], 超忪弛法的每一步为 
2 0 ] f 2( 卜 ra ) « 1 

n pi < 1 ~ 1 , . + 

—» 2 J [ 0 2(] —£ a)j 

如果我们将等式的两侧均除以 w ,则得裂式 a = S—r 之矩阵 S 和 r , 
迭代过程又回到了 的形式。这样起决定作用的矩阵 

S'TC 其特 ffi 值决定此方法之收敛速度）为 

oV ^ aCi - w ) a "j 
2 j [o 2(1-«)J 

1 - co - ~i — a ] 

a ( 1 — 
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参量®的最优选择®应使矩阵 L 的最大特征值（换言之，其谱半 
径）尽可能小„超松弛法的嬰点 即在于 发撾此最优的首先， 
各特征值的乘积必须等于行列式——如果我们考察 一T 相乘后得到 
的两个三角因子 的话。 第一个因子的行列式等于1/4 ( S 变成逆矩 
阵之后），第二个因子的行列式等于4(1一《) 2 ,因此 

A 1 A z = det-L al = (l — 

下面是一条一般性的规则：第一个矩阵 (D+oL) — 1 的行列式为 


detlT 1 因为 L 的所有非零元素均位于主角线之下方；而第二个矩阵 
的行列式为 dct( I -©)D, 因为I；的所有非零元粜只位于主对角线的 
上方.在 n 阶矩阵的情况下，它们的乘积为 = 这已 

说明，何以不去选择 o = 如果这样，特征值的乘积将很大，致使 

不等式< 1不能对所有特征值都成立，于是迭代过程不能收 
敛）我们也得到了了解矩阵£4#征值性质的一条线索，这 就是： 
«=1时* 这是 Gauss-Seidel 法之特征值，等于零和1/4,而随着 
«的增大，这些特征值便彼此接近起来。当《为最优值时，此二特 
征值相等，这时它们都应该等于以使其乘积等于矩阵1<»之 
行列式值' 此最优《值容易算出来，因为特征值之和永远等于矩 
阵对角元 （L„ 的迹）之和。因此最优参数，由下式决定 t 
1+^ = 0。”一 1) + (0) …一 1) 

= 2-2a 4 , ( (28) 

由此二次方程珂解得 =4 C2- v / y>^1.07 1 因此，这二个相 
等的特征值约等于 《~1 = 0.G 7, 这与时之 Gauss-Seidel 法 
所得之特征值;I = ] / 4 相比，大有下降。在此例题中， o 值的正确 
选择再次使收敛速度加快了一倍，因为 

如此一项改进.竟珂以轻而易举地几乎神奇般地获得成功 • 这 
样一件事情的发现，曾经是如余年来数值分析中大量活动的起点。 

* 加果由进一步增大，那么特征值犹变成一个龙共铒对一两特征值部有]幻= Q )- 
1,故其乘枳仍然为且它们之換将瓿着①的瓚大而增大。 
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3 初，冶一个问题在于开发并扩展超松弛迎论，1 S50 年 Young 在其 
5文屮捉出了求最优《艽一个简单公式 ， T 是这第一个问题获得了 
该论文中的关健一步在于找出炸.阵 L 的特礼值 A 和原 Jacobi 
Ml 阵 ZT 1 L—17) 特征 fK 句的联系：这种联系可写为 

U+o— I ) 2 二乂 W. (29) 

此公式适用 T 大衾焚仃限整矩阼，如果我们取 »=1 ( Gauss - 
Seidd 法）.那么，此式给出 丙此， ^ -U , 这一* 

点通过上述例1和例2 已经得 S 1 了证实，± 1/4和 A = 0 ， 
A -1/4. 填实上，这种情形完全典型地戊犮 了铝可 比法和 Gauss - 
Seidel 法之间的 关系： 听存 Young 类矩 阼都只 .有正负对的特征值 
1 ^ , ( 29 )式则衣明，扣应的^即等于零和 〆 。通过对^的最新近似， 
我们使收敛速度加快了一^ 

1 E 要的问题 ft : 对此法进行更进一步的改进。我们.想选择适当 

的0以使设大之特征值 A 极小化，很卓运，此 M 巴已获符解决 9 

Young 方程 （2P) 不巳別的，正是二阶如车 M 子I^之特庇方畀，而《 

之设优值乃是使两根彳之楔均等于《—1#。正如 (28) 式巾那样，那 

里〆=】/ 4 ,即可导致 

( o ) - : ) + (G — 1 ) = 2 — 2。) + W 

-卜 、 2 (l-x^T—u 2 ) 

玫 «=— ——- 匕 

唯一的差别在于，对一个大矩阵杗说,_这种格 M 将就不同的± 仏对 
1[复进我们只要正确地 选择〜 这些.对其中最大者即给出 
最大的 Jacobi 特征值心 … 同时也^给出^以及 A = ra — 1之最大值， 
既然我们的目 的在于 淀4„尽可能小，所以决定选择最扰的 ％,, 正 
是这个饺值对： 

〜 O ' -和 

^ n ； rix ™ J * (30) 

这就 是求域 优超松弛因子的 Young 公式。 



对于有限差矩阵 A 来说，其沿三主对角线的元素为一 i, 2 , 
— 1,我们可以很容易地计算出 o 所带来的改进情况 „ 在例题 
中，这足二阶矩阵，现在假设这是《阶矩阵，对应于网眼苋度 
( n +0. 最大的雅可比特征值，根据练习7.3.4为^^ = ^^,因 
此，最大之 Gauss - Se〗del 特征值为〆而最大之逐次 
超松弛特征值通过将代入 （30) 式而打 

义 = 2( 1 — sin^tfo ) — 1 二 _(j 一 si nJT?i) a 
" 0I cos 2 jt?! co s^h 

— i — sin-Tfe 
1 +silKT& 

这些数值只能通过具体例子来评价 3 假设 A 为21阶矩阵，这个阶数 
不 算多。 这时 ft = l / 22 , cos 7 rte = 0.99, 故 Jacobi 法收敛 得慢： 
cos ^ h =0.98, 这 E 味着，甚至 Gauss - Seidel 法也要进行很多次 
迭代。但因为 sinW = v / O ^ = 0.]4, 所以 M 佳方案超松弛法之收 
敛因子等于 

=0,75,其 C3。，, = j + ? imtl = 1 ,75. 

每一步误差降低25资，于是超松弛法之一步等价于 Jacobi 法之30 
步：印 （0.99) 3 " = 0. T 5, 

这是如龀简单的一种思想得来的一个惊人的结果，其实际应用 
并不在于一维问题 （ 常微分方程），因为有三对角矩阵的方程组 
#={) 已经是很容易解的，正是在多维情况下 f 对于偏微分方程， 
起松弛法才显得特别 K 要。如果我们以单位正方形 0<x, 取 

代单位区间0<衫; .， 并把方程 一«■„=/ 改成 一i ( „-w rr = /, 那 
么.自然有限差分模拟将为°五点格 式"。 * 方向的系数 一 1, 2, 
_】和 y 方向的系数_1, 2, —1 组合，结果得到其元素为+4之主对 
角线以及元 素为一 1的 M 个其它对角线.但矩阵 A 的带宽并不等于 
5 ,没有一种编号办法能安排正方形中之 N 2 个网眼结点，使每个 
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结点紧接其所有四个相邻结点。如果排序逐行进行，那么，每一点 
必须等待一整行排完，其上邻点出现，结垠此 <五点矩阵”之带宽 
为尺 ： 


A = 


与任何其它线性方程 = 比，种矩阵或许更多地引起了 
人们的注意力^被人们以更多的方法进行了攻关。笔者认为，现在 
的趋势又回到了直接法，这些方法以 Golub 和 Hockney 的一种思想 
为 基础： 某些特殊 矩阵， 如经恰当处 K , 则可离析。（它可与听谓 
“快速 Fourier 变换”相比拟。）从前出现过交替方向的迭代法。这 
些方法将 x 方向的三对角 矩阵和 y 方向的三对角矩阵分离开来。更 
早些时候，因为] acobi 特征值 ^ aI = c OS ：^ 和一维情况下的特征值 
一样，并且超松弛 H 子队, ，也等于此值，所以出现了超松弛法。 
在每一种情况 T , 闹难都在了•如何从模型问题过渡到真实问题.每 
种方法对于比一 = J 更一般化的方程，比正方形更一般化的 

几何领域，都有其自己应变之埒能性 . 

我们不能不提到共轭梯度法来 结束这段论述 5 共 铌梯度法好俾 
Li 经 无人应用了. 但妃现在突然 又非常活跃起来了。它与其说厲于 
迭代法勿宁说属于直接法范畴.但是，与消元法不一样，它可以停 
在某一步上.无需说， 有可能会有某 种全新的思想 出现并 会占上 
风 * 然而公平地说，从0,99变到 0.75, 这正是在解方程组 A :: = b 中 
的一场革命。 

练习 7.4.1 对于特征值为2_ 〆 2 , 2 , 2+^7的矩阵 



难其雅可比矩阵 {- L - U ) 以及诙 Jacobi 矩阵的特征值， 
G aUS s~SeideI 矩阵 （D + L)-K —C0 及其特征值，逐次超松弛法之 
和夂„值。无 X 计算出矩阵 

炼习 7.4. 2对于 ft 阶矩阵 


A 


写出雅可比矩阵/=0 _1 ( — L—U), ii£ 明向童 1 = (sinrtft, sin2?rh, 
", sinmth ) 为 J 之一特征向量，对应于特征值 Ai=cos?rh = cosjr/ 
(«+ 0. 

练习 7.4. 3 对 R — )|1种 A, 求证向量 sin2fc;rFt, 
…， sinnfcsrft) 是一特征向量，且其它特征值为 ApcosJUfo, 故各 A 确 
实以正，负对的形式出现01.= —夂， A,_ t = — …），同时. 

^Bo*=cosJr?i = 

下面的几则练习要用到0“ 5( ：}^ 0 1'：! 1 1的"圆周定理" t 矩阵 A 
之每一个特征值均至少位于 q , ••■ ,C, 之某一圆内，这里 C, 以对角元 

知为圆心，而其半径2仏,_1 ,即为该行其它各元素绝対值之 

^ I 

和， 

证明方程之按分量写法为 

{h-Qi^x^ ^ auPtj 

I、 | 

或 U—0.(1 < 2 _ u4~ 

如果*之最大分量为 4 的 iS, 那么，对所有/乓 f 的情况来说， N/ 
1^,1 < 1 . 因此， U - 0 u \ <r. t 即』 位于第 i 个圆内， 

蠔习 7.4.4 矩阵 
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被称为对角占优矩阵，因为好一个 kU > r .。 求证，零不会位于任 
何一个 Gerschgorin 圆内，并得出结论， A 为非奇异矩阵， 

练习 7.4. 5 对此对角占优矩阵 A , S 出其 Jacobi 矩阵 J , 求出 
J 之三个 Gerschgoriii 圆。求证所打半径都满足不等式 h<l ,并说 
明为什么 Jacobi 迭代法会收敛 a 

练习 7.4. 6 方程组 M = b 之真实解稍稍不同于之解， 
因为 A _ LU 由于四舍五入误差的关系为非零 矩阵. 提髙近似解精度 
的可能性之一趟处处都采用双精度计算^但是，比较好并且快的方 
法是迭代改善精 度法： 只用双桔度计算向量 rtfc — A .%, 然解方 
程组 IX / y = r , 把所得之校正值 y 加到 A 中去。问题：将向量4=^。 
+ y 乘以矩阵将结果写成裂式形式^并说明 t 为 
什么 T . 作常小„这一步几乎可以使我们得到真实解〜 
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第八章线性规划和对策论 

§8.1 线性不等式 

线性代数与分析不同，它仅与解方裎有关，而与不等式没有关 
系。这两若之间的界限似乎是明*的《但赴，笔者最后意识到，线 
性规划却是一个反例，它是研究不等式的，然而毫无疑问是线性代 
数的一部分 3 这一点对 T 对策沦同样也蚪对的。对这些学科的探讨 
有三个途径：或直观上用几何法：或计译上 ffl 单纯形法；或代数上 
用对偁理论法。对于线性规划，这些方法在卞节、 §8. 2和 §8. 3中 
进行了研究。此后，在 §8. 4中将研究具有整数解的问题， §8. 5讨 
论扑克游戏及其它矩阵对策，最后说明一下极小极大理论及其与线 
性规划的对偶理论的关系 s 

本章的关键在于了解线性不等式的几何意义.线性不等式把》 
维空间分成两个半空间，其屮一个满足不等式，而另一个则不满 
足。不等式 x +2 3 ，>4 就 是一个 具体的例子。这两个半空间的界是直 
线； <+2 ;y = 4, 在此直线上不等式转化为等式。此直线上方为 *+2 y 
>4半空间（图 8.1 ) f 而在其下方为与其相反的半空间，在这半空 
间不满足此不等式。在三维情况下，图形几乎是一样的；只是界转 
化成了 平面。 例如， x + 2 y + T ^ A , 在其上方为半空间 x + 2 y + z > 
4„在《维情况下，我们 R 样称 《_1 维的界为 " 平面” t 

对这类不等式，坯补 充一个 线性规划中很报本的约束：童 * 和 
y 应当是非负的，当然，这个约束本身即力一対线性不等式： 

0和所以，我们还有两个半空间，它们的界就是坐 标轴： 
满足不等式^>0的所有容许点在直线 X = Q 的右侧.而 y >0 给定了 
直线 y = U 上方的半空间， 





明 8,1 方程和不等式 

重要的一步在于同时考虑三个不 等式： x - h 2 y > 4 t x > 0 , y > 
0。从几何上讲，它们组合的结果给出了图 8. 2中的阴影区域，此 
区域是 x >0 和 y >0 等三个半空间的交集 • 它已经不 
是半空间，而是一个在线性规划中称为容许集的典型例子，换句话 
说，容许集是由 线性不 等式组的解组成的。 
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ffi B .2 S 许集 和价值 8数 + 






不难发现，由《个独立交鼋 W 个方程所组成的线性方程组 = 
b , 实际上描绘同的乎他'的交集，毎个方程是一个平面„ (当 
w =« el 备平面相交时，它们 相交丁 -对应解为;的一点） ，同 
观， W 个不等式组描绘 W 个半空间的交，此外，如果要求向 
量X的每一个分量均为惟负的 C 以向量不等式的形式表汞为*>0), 
那么，结果又生成 n 个半空间》所加的约束越多，容许集就越小， 

如果上述例子改为半空间 x+ 2 y<4 的话，且保留不等式00, 
y > 0 , 则此集是有封闭边界的 . 结果我们得到三角形 OAB, 联立 
不等式和 x+2 y <4, 容许集即退化成一条宜线 ； 两个相 
反的约朿结合起来 t 得到等式 x+2y=4. 如果我们附加一个与前矛 
盾的约朿，例如 x 十 2 y<_ 2 , 那么，容许集将变成空集_。 

线性不等式组(或荇许集)代数是我们本课稈之一部分„然而. 
在线性规划中还有另外一个非常重要的组成部分，即：我们所感兴 
趣 的不是所有容许点，而是使某个‘价值 函数” 极大化或极小化的 
特定点。 对于例子 X + 2 y > 4 , X > 0 , y > 0 , 我们再增添一个价值 
函数（或目标函数 ）2 x + 3 y , 那么. 萁正线性规划问题就在于求 
出容昨集中使价伉函数极小化之一点 A y = 

，对上述线性规划问题，以图 8. 2给以几何解释。一组价值函鉸 
以+以给出了一组平行直线，我们要求极小价值，换句话说，就是 
与容许集最先相变的直线.交点显然在 B 点，： f = 0和〆= 2 , 
极小饴为+ L 向置 （ 0 . 2 )叫做容许向量，因为它属 
于容许集 ； 它又是最优向 fi , 因为它使价值函数（在容许集上）取 
得极小馑.并 i? ■极小价值6为此规划的值。我们将以星号表眾最优 
向量。 

容易看到，最优向量位于容许集的角上„这一点是由几何来保 
证的，因为价值函数 的盘线 （或敦，独立变量更多时为平而 > 不断 
向上移动，直到与容许集相交为止，第一个交点必定发生在此容# 
集的边 界上 . 然而， 不同的价值函数与荇许集的交可能不只是一个 

• 半空间 3：+2夕与解一象限不相交 * 
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点：如果价值函数恰好为则 B WA 点之间的盤个边界将同 
时与价值函数相交，在此边界上将有无穷多个最优^量（图 8.3 a ), 
最优值仍然足唯一的 （V + 2 〆 对所有的最优向量均等于4 )„ 因 
此，极小问题仍然有确定的答案 a 另一方面，极大问题将无解；因 
为，在上述容许集上，这个价值可增至任意的髙度，故价信的极大 
值为无穷大1或背，分析这种可能性的另外一种方法，来研究极小 
问题，应取相反的价值函数 _ x — 2 y a 那么，如图 8.3 b 廚示，极小 
值为一〜，这里还是无解。每一个线性规划问题都将属于 T 列三种 
可能范畴之一 ； 批容 许集为空集，或其价值函数在容许集上无界， 
或者对线性规划街唯一的有限值（具冇一个或无穷多个最优向量）， 
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前面两种 ffi 况，对于实际的经济或工稈问题是很少见的 a 

存在 •- 种简单的方法，把约束不等式变为等式，即引进松弛变 
= 这就是我们的方程！原来的约朿 x + 2 y>4 变成 

Tw> 0 ,这可与其余的两个约柬0 , y>0 极好地协调起 
来.单纯形法即从送一少开始：对于每一个不等式引进松弛变量， 
結果得出只有方程和简单的非负约束》 


原问匾的解释与其对偶 

不常见的情形就谈到这里.现在，我们想回到价值函数为 2 X + 
抄的原来的例子上来，并给一文宇丧达。这是线性规划中"饮食问 

的一个实例.这里冇两个蛋诌质 来源： 煎牛排和花生油 。毎一 
磅花生油提供一个单位的蛋白质，9一暗牛排提供对个单位的蛋白 
质,而每餐食物至少 E 含有四个单位的蚩白质。所以含打 x 磅芘生油 
和 y 磅牛排的一蟹食物受下列不等式约束： x + 2y>4 , x^Q , 

0( 不可能冇负毡的牛排或花屯油）。这就是容许集，且问题在 
于使花费 S 少。如采一磅花生油价值 2 芙元，而一磅牛排价值 3 美 
元，那么一餐饮食的花 费为此 +3 y , 恰巧， 最优的 一餐是只吃牛 
排： ： 0 和二：、 

每一个线性规划，包括上述饮食问题 f 都有一个与之对偶的线 
性规划.如杲原问题为极小化问题，那么，与之对偶的线性规划即 
为极大化问题，而且其屮一个问题的解直接导致另外一个问题的 
解。实际上，所给的原问题的极小就等于与其对偶问题的极大 5 这 
是线性规划理讼中的中心结果。在 §8. 3 中将对其进行 讲述。 这里 
我们仍谈饮食问题。并试图对其对偶问题做出解释。 

这里的对偶问题乃进出售合成蛋 Q 质的售货员所面对的问题， 
而不再是顾客在牛排花生油之间进行选择，以期以最低的花费来得 
到定景的蛋白质 r 佐货员力图与牛排和花生油 进行竞 争.因此，我 
们立 刻遇到 典型的线性规划问题中的两个组成部分：售货贝想使价 
格 P 公说， { U 是这个价格要受线性约束 D 首先，合成蛋白质的价格 
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不应当商于花生油中的蛋 6质 （ 两美元一个单位）或牛排中的蛋白 
质（ 3 美元两个单位）的价格，同时，价格不应当是负的，否则， 
售货员就不会 出售。 因为饮食要求为四个单位的蛋白质，故卖主的 
收入将为对偶题为：在约束 P <2,2 p < 3和0的条件下 
极大化忭：.这是一个对偶问题要比原问返容易解的例子，因为它只 
有一个独立变赞。很明显， 2 P < 3是实际起作用的一个约束，合成 
蛋白质的最大价格为 〗 .5美元。所以， 最大的 收入是 4 p = S 美元。 
这就是原问题的最小价但。 II 顾客到头来要为天然蛋白质和合成蛋 
白质支付同样的 费用。 这正是对偶 HI 论的意义之所在„ 

终习 8.1.1 画出约束为;6 , 2 x + y > 6 , 0 , 

y > o 的容许集„位于这个集合的三个"角上的是怎样 的点？ 
练习 8 . 1.2 (推荐练习）对于上一个练习的容许集，价值函 
数 X + y 的最小値是什么？画出初次接触蒋许集的直线 X + y = 
COJISt 。 价值函数为 + y 和 X — y 时又如何？ 

练习 8.1.3 证明，被不等式 y>o , 2 x +5 y < 3 , 
— 3 x +8 y <-5 所限定的容许集是空集. 

练习 8.1.4 证明下述问题是可行的，但是无界，因此，下述问 
题： 在约束为 y >0 , -3 x +2 y <- l , 的条 

件下极大化 JC + y , 没有最优解， 

练习8.1.5在 x >0, 的 S 础上.增加一个约束不等 

式，以使容许集只包含一个点. 

练习 8-1.6 « > 0 , y >0 , 2 >0 , x + y + z=i 的容 

许集具有怎样的形式，表达式 x +2 y +3 r 的最太值等于什么？ 


典型应用实例 

在下一节，我们着重解线性规划问题（公式暂略）。因此，现 
在我们该描述几个可能引出下列数学问题的实际 例子： 在线性约束 
下，极小化或极大化一个线性价值函数。 

证券的组合 D 假设有三类有价 债券： 联邦债券，评估为 A 
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级，年息5 够： 市政债券，评估为 B 级，年息6唤；铀公司的债券， 
评估为 C 级，年息9饰.我们购买这些偾券的数跫分别为 X , y 和 
« ,但三者总和不得起过10万美元，何题是，在下述条件下，使得 
盈利 最大： 

i ) 对铀矿的投资不得超过20000突元； 

ii ) 所购偾券组合的平均估值不应低于5级 5 
问题： 极大化 5 JC +6 y + i'z 

条件 ..x + y + z <100000 
z <20000 


z^x 

x ,y ,z>0 

2,生产计划假设通用汽车公司，每一辆雪弗莱牌汽车可获 
利100美元 f 每一辆毕克牌汽车可获利200美元.每一辆卡迪拉克牌 
汽车可获利扣0美元，每一加仑汽油它们分别可行驶20, 1 T 、 14英 
里.而国会规定.每辆汽车一加仑汽油乎均应行驶18英里.工广装 
配雪弗莱一辆需用一分钟，一辆毕克需用二分钟，一辆卡迪拉克需 
用三分钟。在8小时工作日肉较大的盈利是 多少？ 

问題：极大化100^+200^+400^ 

条仲： 20^+17y+14?>18(A：+>> + z> 
x +2y+3jr<480 
x ,y , z>0 e 

练习 8.1.7 解证券的组分问题 
练习 8.1.8 第二个例子容许集中.非负性条件 
分出三维空间的八分之 一（ 正卦限），它如何被两个相应的约束平 
面 切割？ 容许集具有怎样的 形式？ 它的各角怎样显 示出： 在这两个 
约束下最优解处将只有两个牌号的 汽车？ 

练习 3.1.9 运输间题„假设， 得克穿 斯州，加里福尼亚埘和 
阿拉斯加州各生产100万桶石油，芝加哥需耍80万桶，且离上述各 
产地的距离分别为]000, 2 000和 3 000英里。其余220万桶运往新英 
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格芑，距离分别为：500, 3000和3700英里。如果毎桶的运费，一英 
甲 .一个单位价格，那么需矣解有五个约束等式的怎样的线性规 
划，使得运往芝如哥的运输景 x , y . z 和运往新英格兰的运输量 

§8.2 单纯形法 

这一节将讲述具苻《个独立变量和 m 个约束的线性规划。前面 
—节我们已经介绍了 W = 2和1的情况。在那 M 曾有两个非负 
的变贵^=>0， y >0 和一个约束： x +2 y >4 a —般的情况，并 
不难解释， 但兒求 解不太轾易。 

描述线性规划问题，最好的方法是把它写成矩阵的形式。 ft 个 
独立变量构成一个非负的列向 .K: x = , j ： 2 ,…， xj r . 这个 

向量要是容许它除了满足以外，还应满足 m 个约束，我 
们把这些约朿记作矩阵 A 为阶，并且它的每一行都 
给出一个不等式 （ 正如本书其余部分中，方程组 Ax=b 的每一行都 
给出了一个等式一样）。矩阵八和4泣&已经给定，对于约束* + 
2^>4 ,我们存 A=( 1 , 2〕和& =〔 4〕。价值函数也已经给定， 
丼且亦为线性 函数； 它等于 C lXl + Ci 〜 + … + C 3,， 或问题 
在于求出使价值函数极小化的容许阳 K , 该向量即为最优向跫 ， 

标准的极小问题：在条件 x >0, Ax > b 下，极小化 c T x 。 

凡何解释坫明显的。第一个条件尤>0,限定向 fi 在维空间 
的"正象限这是所冇半空0的公共区域 „ 在三维的情 
况下，足八分之一空间，一般地，向最有 2 "分之一的几率为罪负向 

邦它 W 个约束产生 m 个附加半空间，满足所有 m + fx 个条件者 
为容许向货，它们位于象限且同时满足 Ax > b 。 换句话说， 

咨许集为 m + )1 个半空间的交，它可以足行界的（平面边界）、无 
界的或空集。 

价值函数为一整族平行平面。该族中成员之一即为通过坐 
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标原点者乃足 G 个面。如果 X 满足此方程，那么它就是"零 
价值”最。 其余的 ^^^^^〖平面将给出所冇其它可能的价值^随 
右价值的变化，这些平面将扫过整个 n 维空间。 K 优向量 V 发生在 
这些平面首次与容许集相接触的点上，这个向量，足容许的，并且 
对应的价值/，是容许集内的最小俾，这样说来，，即线性规划中 
标淮的极小问题的解 a 

在这一节，我们的目的便是讣算最优解; C ' 在原则上我们通过 
求容迕集的所冇角 并讣箅 这些角的价值函数值的方法是能够作这 
—点的。这时，最小价值的角将足最优点，然而，在实践中这样的 
方法是不可行的，因为这样的角数以百万计，我们不可能把它们全 
部计算出来，因此 t 我们便 转向单 纯形方法《 毫无疑义，这种方法 
可以认为是现代计箅数学中最值得赞美的思想。它是由 Dantzig 
( to 兹克）发展起来的求解线性规划问题的系统方法，或由于幸 
运，或由于他的天才，使他获得了令人叫绝的成就。这个方法的步 
骤在后面将给以综述，但是，我们首先力争在这里将它们尽可能地 
阐述淸楚。 

笔者认为，儿何解释可以把这个方法讲得更加明白。第一步， 
我们只求容许 集的一 个角，这娃 ’‘ 第一个阶段” „假 S 这一阶段已 
经完成 a 此后，第二个阶段为此法之核心，沿着容许 狻的棱 边由一 
个 角过渡到另一个角。 在典型炻上有 n 个校边可供选择，其中某些 
桉边将远离 S 优的似却未知的/,另一些则逐渐逼近，。坦兹克选 
栉保 E 位值下降3棱边，沿持这条棱迈得到一个较小价值的新角。 
并 iL G 不可能冉返回任何更窃为价值 d 最终达到一个特别的角，从 
这个角出发离去的所 W 棱边都不会导致价值的下降 ： 即价值已姪 K 
小化了.这个角给出了 S 优向站夕，于是过程就此结朿. 

现实前问题在于把这个思想在线性代数中体现出来.首先需要 
说明《维空间中角和棱边的概念。一个角乃是 a 个不同平面之交 
点，句:一个平面都由- •个 方程给定，恰如二个平而（或带说前壁， 
侧壁 和地权 ） 产生一个三维 的角。 要知道，在浅性 W 划中的荇许集 



是由 m 个不等 式4«>&和 《 个不等式0所确定的。容许集的每 
—个角都是通过将此 m + «个不等式中的个转变为等式，并求出 
此 n t •平面的交点的办法而得来的。特別地，一种可能性是选择 
«!=0 , 等 Ji 个方程„最后得到的结果为坐标原点，象 

所有其它可能的选择一样，此交点即为容许集的一个真角，如果它 
也满足其余的 w 个约束条件的话，杏则，它甚至不在容许集内，而 
是一个十足的冒牌货，练习 8.1.1 的例子中含有 n = 2 个变量， 
m = 2 个约來，如图 8. 4所示，有六个可能的交点，其中三个实际 
是该容许集的角。这三个角用 P、R 表示， 它们即是向量 
(0,6), (2 , 2 )和 （6 J), 且其中之一必定是最优向量（极小 
价值为一~之情况除外）。包含坐标原点在内的其它三个交点为冒 
牌货. 



m s .4 容许集的# 和梭边 

在一般的倩况下，可能有个交点，因为此总数 
等于由 n 个候选平面中选出》个的组合数' 如果容许集是空 
集，则当然这些交点无一是真角。第一个阶段的任务是，或者求出 
容许集的一个真角，或者确定容许集为空集 4 现在我们在假设某个 

• 这个數的大小表叨，为什么说在 n 很大时， 要计 箅出所有的角是完全不现实 

W. 
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角已经求出的前提下，继续讲解。 

现在， 我们来研究一个棱边：假设由个相交的平面中取消一 
个，仅留下 fi _ l 个方程，十是，迚冇-个自由度。满足 《 — 1个 
方程的点组成一条由角出发的棱边，在几何上这是此1个平面 
的交线 s 线性规划迫使我们留在容许集内，所以，我们没有沿此棱 
边选择运动方向的余地：只一个方向是容许的，然而，我们都可以 
从几条不同的棱边中选择任何一条，第二阶段即应实现这种选择. 

为了描逑这个阶段.我们必须把改写成完全类似于 II 个 
简单约束〜>(3 ,心>0之形式.这个职责就落在了松弛变量 
之的肩上。这财个约束如>&波转化为〜>0 r …， 

0 ,矩阵4的每一行都有一个松弛变量.这时方程 z =Ax — fc 或 A.V 
—z == b 便可写成矩阵的形式 



容许集由这 ™ 个方程和 B + m 个简单的不等式, z > 0 来确 
定，换句话说，一个通常的问题就此转化成了具有等式约束的规蒗 
形式„ 

为了完成这种变换，尚须消除原来的 x 和新得到的 z 之间的差 
别.因为单纯形法对它们并不作任何区分，故继续沿用记号 

CA -/) ffl | ^ j 

就毫无意义了，所以.我们将扩展了的矩阵重新命名为 A ,而将扩 
展了的向量重新命名为％。此时约束等式即为 = 个 

简单的不等式就只变为; c >0 忉始价值向量 c 需要加上 m 个零 
分量进行扩展，这时价值对 A ： 和 c 的新的含义与对旧的含义是 
—致的。引入松弛变量所留下的唯一痕迹在于新的矩阵 A 的阶为 
mxO + m ), 新的向量 x 将有 n + m 个分量 • 原表示法中，我们 

• 当然，在经济和工程技术问 m 中,本来約束可能就是等式彤式，在这种情况 r , 
单纯形方法将直接用方裎組6—一无苒引入松弛变 fi * 
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保留和 K 的原始含义，以其作为进行了代换的备忘泶。 

例在图 S . 4所示的问题屮，约朿条件为 x + 2 y > S , 2x + y > 
6 ,价值函数为 x + y ,其新方程组有如下形式 



b =| j 和 c r = 〔 iioo〕. 

单纯形法 即可从 这种把约束条件变成等式的过程开始，请注 
M , 第 --- 个阶段已经求得容许集的一个角，即 k 个平而的 交点： 》 
个原来的不等式0和 Ax>b (或 Z > 0 ) 已经变换成了方程。 


换句话说，角乃是新向贷 X ( 或原叼 P 


)之《个分 M 均为零的 


点。的这 n 々分 i 〖我们认为是『-1由变 
a , K 余的 w 个分链则为摇变镒。那么，把此 ™ 个 g 山变 s 为 
零. 我们即可由讯个方 ©Ax = b 求出此 m 个基变这个解; c 就称 
力基本解，以强调说明它完全依赖于基变除几有《个零分量 
外，如向量 X 的非零分量亦为非负的诂，这是一个真角，即属于容 
许集 3 


8 A 容许集的角是方程 = 达容许解：在 m + n 个分觉 
中有 n 个分量 等于零 的解 x 足基解 ，当; c > 0时此解娃基稃许解。单 
纯形汰 的第一个阶段求出一个基容许解，而第二个阶段则逐步移向 
敁优解。 


例 图 8 . 4 上的角点 P 就是直线 x = 0和 2 x + y - 6 = 0的交 
点 . 所 W 向 fix 的两个分 fi 等丁•零，而其余两个分量是正的•于 
&. 它是基容许解： 



还有一个主要决策要 做 ： 我们应沿®—条棱离开这个角？我们 
已&求得一个角，其中向量 x 的， n 个分 M 是正的，而其余分量为 
零。现在我们想要沿着容许集的棱边移向邻角.此两角相邻这一事 
实，意味着 m 个基变 S 中有 m _ 1个仍然是基变置，只葙一个自由 
变姑 r 变为零。同时，白由变量屮有一个变成了基变量，其值已 
由零变正，而其余 w _ 1个基变 M 虽然变化，但却依旧为正.问题 
在于要决定什么样的变 M 应从基变量中离开，什么样的变屋应该补 
充进来，如果我们知道，哪 w 个变撗为新角的基变则其值可以 
用解抓个方程 Ax =& 的方法计算出来.这里向量 x 之其余分量被认 
为是零。 

现在让我们举例说明： 

极小化 7 x 3 — x 4 — 3 x 6 
彔件 + x 3 + 6 x t +2 x (i = 8 

-ri +3? c 6 = 9 

我们从 8 和 9 (它们是基变和 x 3 = x + = je 6 = 0 这个 
角开始，约朿条件是满足的，似是价值可能并非最小。事实上，正是 
价值函数确定什么样的自由变量需要引为基 变彊。 令心为正变量那 
是笨拙的，因为其系数为+ 7 ,而我们试图减少价值。选择 变蹵〜 
或心是 比较适宜的，于;£我们 选定心 进基，因为其 系数一 3更负一 
些》如杲所有的系数都是正的，则原来的解就已经是最优的了。 

如果变量: c 6 进基，那么，或〜 或心 应当出基 。 若在第—个方 
程屮 增大〜 减小〜，同时保持〜+ 2 心= 8 成立，那么在4 
时， A =0。 然而，这时在第二个方程屮心已成为负值： 6=4引 
起^ = _ 3 。我们的规则是： 使〜 增大直到基变量之一等于零为止， 
此后，该基变跫便成为克由变 it 在这种情况下，心=3时心= 
0,且从第一个方程中 得到〜 = 2 。此时，价值下降到_9。在一 
般情况下，我们计算方程右边部分与进基变贵的系数之比，8/2和 
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9/3, 最小比指出，那一个变量成为自由变董。 

此规则只考虑正的比值，因为如 果心的 系数为~3而非+ 3 ,那 
么, 增大将使 A 也同时增大 O e = 10,在第二个方程中々= 
+ 39 )因此，我们永远也得不到零值若 A 的所有系数均力负 
值，这就是光界的情况； h 可以无限增大，而价值将随之减小至 
且这时离不开容许集。棱边是无穷长的 4 
在我们这种情况下，第一步终止于角心=2, = 

0 , x s = 3 ,然而，仅在方程具有适当的形式时，即基变量被分离 
幵来，如本题在原來情况下对基变量;^和心所做得那样，下一步 
才会是简单的，为此，我们解出第二个方程中的并将结果代入 
到价值函数和第一个方程中去，以实现"主元的分离 3 〜= 9 一 
这样.新问题便具冇如下形式： 

极小化 7-^3 — -^ 4 一 a ‘一 9 

条件 JCi - 1—Jfi +-y-^ 3 + 6Ar 4 =2 

—7^— A+ g ^3 十 H . 

下一步实现起来即很茼单，在价值函数中，有唯一的负系数，这就 
意味着变量心应当进基。比 V6 和3/0意味着变量^应当离基.此 
时，新角将由关系式X j =— , X e = 3 给定 ，新 

的价值等于此价值即力最优费。 

在维数较多的问题中，要离开的基变量随后可能重新复基„然 
而，由于价值继续下降（退化情况除外）.故 m 个基变量全部都返 
回的情形是不可能发生的.任何…个角都不会被访问两次，并巨过 
程应当停止于最优角 C 或者在价值无界的情况下，停止于_«> ). 
此法最精彩之处在于其快速性，人们可以很迅速地求出最 优角。 

关干退化性的一点 说明。 如果在某角处向量X中等于零的分量 
不止 rt 个，而更多一些，即过该角的约束平面多于 ti 个且有一呰基 
变量变成了零，那么，该角即称为退化角.在单纯形法中，在方程 
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的右侧出现零便是退化的一个征兆，结杲，确定离开变量的比值中 
将会有零。且基可能在不出该角的范围内发生.事实上，在选基过 
程中，我们可能无限次地在原地兜圈子， 

这种情形可以消除.或通过对单纯形法的适当改造，或通过预 
料这种循环不会发生„幸好，后者与计算的实践是相一致的. 

钂习 8. 2.丨极小化 + 

条件 2 x t - 4 x 1 + x 3 + x i = 4 , 


3x 1 +5 jc 2 +x 3 +x b = 2 

变董心， A 中哪一个应当进基， A , h 中哪一个应当离基？ 
计箅新的一对基变董并求新角的价值. 

*538.2.2 作完第一步后.准备并实现下一步， 

表 


单纯形法的每一步，都包括对矩阵行做出决策和进行运算两 


个方面：需要选择进基变量和离基变量，并且实现这种进基和离基 


运算 • 狙织实施此过程的方法之一就是将数椐放入一个称为表的较 
大矩阵中，为了讲清所有这些运算，我们首先用价值公式（以及只 
有最优角才满足之过程终止准则公式）所含之矩阵的术语来实现这 
些运算 • 给定矩阵 A . 右侧&和价值向量 c , 从而原始表具有彤式 


T = 


A : b 
c : 0 


* 


此为 （m + j ) x ( m +»+ i ) 阶矩阵。在其这种形式中，基变鼉容 
易与其它变董相混淆，所以，第一步在于使每一行中都留有一个基 
变量，之后，做出决策便来得非常容易.假设，〜为 
基变董（必要时可以重新编号），而其余《个变量为自由变董.这 
时，矩阵 A 的前 m 列组成一个方阵 B (此角之基矩阵），其余的 n 


列给出 7 ■个 mx « 阶矩阵 F 。 同理，价值向董 c 分解成 〔 Cb ,£>), 而 
向量*^为〔*5, x T F V . 此过程之要点在于此 角巾巧 ,方程 
Ax = b ^ Bx a ^ b t 由 iifcO 到基变量〜，这样，价值等于 

~^&:昏；兩置 C 用 fi 向纛窣示，不再加转*符号 T , 译者注 - 
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为对此衷进行处？ n ， a 们设® 将 K 分成) V 格、 

r +. LU 书] 

我们若能以单位矩阵代抒矩阵 B , 则抗变贷即将被分开„这- 
过行变换便可达到 a 结鬼， 我们得 到： 

, r I : B' l F : £ T ”;1 

L C B ； c F ； 0 J. 

ft 然，把 B 变成 j 的矩阵乃足 IT 1 , 不 H 托河地 /yfl"" 1 都不明 
表现出來.因龀，所有从他行减去某行的减法，总括起來便4 
乘以 B _1 (讲实上，我们这里进行的乃是高斯-若当法的一个 d 
此步骤与11后面听描述的颇为相似，主元素通过本身相除的 i 
消除，从而在对角线上留 T 的是1 ,而其上方和下方行到的 
零）。为了完成制表任务，我们:这些单位生元，使其庇部 i 
也变成零， Bli 下此行为向所占张，为此，笫一行乘以 C 
后一行减之，随后，笫二行乘以如此等等，即4乘以旁 
上面一部分，并由下而一部分减之： 

f I z . B~ l F : B^*b 1 

n …； . ！ . 

L 0 ; c-c^B^F I - CflB- 1 & J. 

制丧过®就此结束，所剁:|:作只足对 K 给以正确的解释。 

们的问题在于在 x >0, Av = & iHf 条件下极小化方程办 
经乘以 ir 1 , 错果得 到： 

Xs + B-^x^B-^ 

_kL 价值 cx = c B ; c B + c >, v P 变为 

c . y = ( c ,— c ^ B ' 1 F)x !> + c E B~ 1 b 
蚩要 的是表中包含了所有需要的右面基变景 x^B~ l b 
变量 h = 0 ) 。 当前的价值 cx = c n B~'b , 位干右下方并张 
号。 并 II ,辰重要的兄，〖彳测下而一行屮间的价值，我们 ® 
定，该角足杏为辰优莕 5 荇其任一元素为负的，则价值司 
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降。若其所有 系敖均 为正值抑或为军，则任 M 变 化只能 使价值上 
升， r •姑 s 优角就此得到了。这就足终止准&或最优性条俾： 

8 B 如果 r = Cr — qs - t 为非负向 fi, 那么，降低价值是不 
可 能的， 角已为最优者。且极小价值为 hSHb 。 因此，祭件 r >0 
乃是单纯形法之终止准则。苦此条件不满足，则向量 r 每一个负分 
量都对应一条可使沿其方卩》』价值下降的棱边，而通常的策略在于逸 
择向量 r 屮其模最大之负分 a 。 

如果按此规则，选就 Hfl r 之第 i 个分 St, 那么，原角不是最 
优角。向 ft 〜第 i 个分量（替如《 ) 将由负变为正.需要回答的问 
题是， 此分蜇 能够变太到怎样程度。我们曾经解决了，什么样的自 
山变量要变为基变量的问 M, 而我们现在应当决定，基变 fi 中什么 
样的分量应当变为 自山变 量。增大 a 时，向量％的某些分量可能开 
始减小，于是，在向里“的某一分 S 等于零时，我们就到迖了下一 
个角 • 正是这个分 ffi (比如说，第 fc 个分量）耍变为自由变 fL 在 
这一点我们行将得到一个既是容许的又是基本的新向置 x . 它之所 
以屉#许的，因为依旧成立所以是基本的， 因为 它仍有《 
个 零分: feK 此时，向的第 i 个分量已经由零变到 a, 将取代向 
量 h 的第 fc 个分量，该分阽已变为零.向贷 A 的其它分量也将变 
化，但仍将为正. 

8C 假设按照 SS 之规则， F 的第 i 列——我们以 it 表眾—— 
使其由 E1 由变量变为基变量。那么，在新角 x 上其它-分量 等于： 

a min (b-m 厂！ ^ y;. ( 3 ) 

极小只是针对向量 五-“的 正分踅 取的. 若 *无 正分 ft, 则下 一个角 
将位于无穷远处，且价值可能无限减小，其极小值为一 oo 4 否则 f 
矩陴 B 的原第 fc 列将被新列 K 所取代，于是单纯形法又将在新的角 
上开始。 ，_ 

列和 S—、 在硗终 的衷屮是存在的 （ 为矩陴 B^F 
之一列，位于下面一行 r 中之最负元素的紧上 方）. 所以比值可立 
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卽计算 出来。 ' 

例 iii 面我们已经讨论过的 v . 洌，苕价值函数的形式为 
约束为 x + 2 y-u = e r 2 X + y — V = 6 ,则最初表格形式为 

M 2 - 1 0 6 1 

2 1 0 - 1 6 I 

v 1 1 0 0 0 ■. 

如果，我们从图 8. 4中直线 X = 0 十 y = 6相交（等价于 W = 
0 ) 处三角 i •点 开始，那么所剩的二变量>^和《将为基变量，为形 
式统一起见，我们将第一列与第三列交换位置，此后，向量 W 将移 
至 X 处： 


0 


T 


0 


2 


0 


6 1 

6 : 


0 


为了消元，我们将 第一行 乘以一 1,以得到单位 主元。 然后, 
利用第二行，在第二列产生零： 


r ff = ° 


0 



-6 


我们首先来看下面一行中的 r =(_ i , 1〕，它有一负分量，所以现行 
角“ = y ==6, 及现行价值+ 6不是最优的。负分貴在第三列，故 
X 之第三个变量将进基。此负分量所对应的上面的列为 B ~ l u ^ 

jg ■与最 后一列的比等 6 / 3 和 6/ 匕因 为第一 个比值较小，故 u 
之第一个未知数 （ 即表之第一列）将离基， 


. 366 * 









在新表中，我们把第一列和第三列交换一下位置，根据消元法 
分出主元后得： 

" 6 
6 


0 i 0 1 | - 6 ^ 


现在，» [ y . 为正，终止准则已经满足 * 故角 x = y =2 及相应 
的价值+ 4将是最优的。 


练习 8.2. 3假设原价值函数的形式为在重新安排之 
后，角 P 处 c =(0, 丨，3, 0) „ E 明从而诙角为最优角， 
鲦习 8.2. 4假设原价值函数的形式为; C - J ；, 重新安排之后.在 
角 P 处 c = ( 0, _1 f ] , 0) ,计算 r 并确定哪一个 w 列应尚进基。 
然后计算并根据其符号证明将永远也不会再遇到其它角.我 
们正沿着 y 轴上升（参看图 8.4) 且量 x - y 将趋向 一 oo . 

练习 8.2. 5在同一例子中，只改变价值函数为 x +3 y , 验证， 
单纯形法将使我们从 P 点到 Q 点再到 Ji 点，而角 R 是最优的， 

练习 8.2.6 单纯形法的第一个阶段，在于求出方程组 / lx =& 
的一个基本容许解 • 改变符号，使得之后，在条件; e > 0 , w > 
0, Ax 屮 w =& 下，附加的极小化^^ +…+ ^^之问题.如果方程钽 
/ U =& 有非负解，那么，此问题的极小价值将等于零，即 = 

a ) 证明，对此新问题，角 x =0, w = b 既是基本角又是容许 
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角.所以此问迓 之帝- 个阶段 已烃义 成。于足.阜纯形法便可荐手 
求 a 优对，、 ^ Vu -*- o , 则/即为原问题哭求之角， 

b) KJ-T-A-0 — 1 〕和;)= ( 3 L T.J 出附加问迓，由上述 a) 点 
写出该问题第一个阶 s 之以及 w 优向 m 。 求#许集 a — 心=3, 
A>0, Xl >0Zi(i, 并 JJi 会出汶佐 Cr D 

练习 8. 2. 7如见我们纪段大化，而不是极小化价但函敌，（仍 
然对于似。&__>0)那么，对 -r ^终止准则将足什么？应按何规 
则在矩阵 F 中选出雄列，在矩阵 S 中迭出 ft 由列？ 

练习 8. 2,8在条件 A+A：>4, ^,+3 x 2 >12 , Xi - X^o , 
^i>0, x ^ OT , W 小化 a;-I-A 。 

单纯形法步驟的巴织 

我们己经实现了由単纯形法之几何到其代数之 过渡， 即由“角" 
的语言 M 歧到了 "基本容许解”。过渡之后，计兑才能开始，现 
在，我们知逍起决定性作用的乃是向兒>■和比值 a D 我们姐再回到 
它们的计打上来.这是单纯形法之核心，它可以用三种不同的方法 
组织实施 ； 

(1 )列裘 

( 2 ) 每当矩阵 F 之靳的笫 /列 w 取代炬阵 B 的现行第 Jt 列时， 
计算并 更新； H: 值。 

(3 ) 计玎或并更新这些因子代替 
这个淸单实则是单纯琨法之简史„引人入胜的为第一阶段，即 
曾于多年占据统治地位之列丧法。对我们大多数人來说，它给线性 
规划带来过一种祌秘的气氛> 主要是因为它几乎完全避免了矩阵的 
衷承法（用巧妙的手法把所有矩阵都完整地写出来了！然而从 
计算的角度來看，列表法的黄金时代已经结束 （ 教科书中之简单问 
题除外）。 

问题在于，计算了卩 MM r HH: 模敁大岣负分垃告诉我们相应列 
将进基之后， r 上方的其余诸列无一波采用。这些计算纯属浪费时 
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间 = 在火型的问题屮，成千 上百俜 反复计逐个等待进葙。这样楮 
细的进行全部消元运算，理论上足严格的，似在实际上蛊不适当 
的。 

n 裘方法的描述该结束了。仅仅研究一下单纯形法并且搞淸什 
么计总乃足必不可少的，那耍迅速得多，到头来要简単得多。在每 
一步我们都应当把矩阵 F 的某一列扣矩阵 B 的一列重诽，并根据 r 
和《决定，究竟哪些列应3选來交换位置。这一步耍求如下运箅周 
期，从现行基矩阵 B 和现行解;^ =_8_ 4开始： 

误8.】单纯形泫之一步 

0计 iT . 行向 it c 1 和向= C f — AF 。 

2) 如果/ ">0, 则过程结束，现行解即为最优鮮：杏则，若1^为 
向童「中其模最大之负分谨.则选矩阵 F 的第 i 列进摇，我们以 
崁苯之. 

3) 计算 

4 ) 计算 iTA 时矿 1 «的正分蜇之诸比位。茬 B _ l « 无正分蹵， 
则极小 值为一 a ; 如果最小比值发生在第 fc 个分 M 上，那么观行矩 
阵 S 的第 fc 列将被取代„ 

5) 更新矩阵 B ( 或 1 T 1 ) 和解 = 并至此吒返间第一 

点， 

此方法，有时称为修正单纯形泫，以区别于列表演算。事实 
上，这就是单纯形法只不过逛经过了压缩而已。为了完成此项讨 
论，尚应解决第一歩' 第三沙和第五步该如何实现的问题，即计算 
/i=c«C -1 , v~B^ l u, ( 4 ) 

在编写本书的时候，鼓常用的方法乃是直接对矩阵 B - 1 进行计 
箅，即根据矩阵 B 中取初始角的基列以显示将其计算出来•这 
样，在以后之诸角中，计算过程将很简单 s 我们把新向董 B - k 放 
入表之第 fc 列（欲消除列），此后，用消元法把相应矩阵化为单位 
矩阵： 
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( 6 ) 


自然，起变换作用之矩阵为 E_\ 在单纯形中笫一个角的矩阵计 
算出后，每一个后继之角即用左乘以 1 * 的方法求得 T 

勿需真正改变矩阵只要把简单的矩阵 E - 1 存储起来，即 
足可迖到 S 的.而后.这些矩阵就顺序地应用于给定的向量 
c s 、 u 和 b , 但不应用于矩阵的所有列。此即称为"逆矩阵的乘 
积形式^繁琐的、周期性的对当前矩阵 B 重新求逆便可避免， 
这时，保留在矩阵 E - 1 中的信息，即可淸除^ 

—种新的作法在于利用线性代数的通常方法„如果把 （ 4 ) 看作 
具有同一个系数矩阵 J3 的三个方程： 

Bv =^ u ; nx B = b , (6) 

那么，标准分解5=0及或3=切（或这里为了提高数值 
的稳定性，可以进行行交换），将立即给出三个解。在 Luenberger 的 
著作中(参考文献目录 r •讲解了怎样才能避免重复计算这些因子。 

闽衧一个问题需要回答，单纯形法我们要作多少步？这是一个 
无法预先回答的 问题。 经验表明单纯形法只涉及到大约 m 个不同的 
角，即约运算 mS 次，此运算工作量与 Ax=b 之通常消元法的工作 
量相似，这也是单纯形法成功的原因.但是，数学计算表明，计算 
路径的校度不总局限于 m 的任一固定倍数或 m 的任一固定褡次。现 
在知道，最坏的容许集可使计算路程长达条棱边以上，其中 
数 c 不依賴于 m. 因为某种关于多维多面体的儿何性质的理由，单 
纯形法看来还是走运的， 

练习 8.2.9 验证，如果 

* 此矩阵在练 JJL 2.9 中巳经 求捂， 它 ffiffeE 那样简单* 

*• “绒性 与非线性规划引论” D . G,Uten bcrgerS # 拴等译，科学出版社 （ 1980 ) 
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练习 8.2 J 0 对任一矩阵 B , 求证乘 积 BE 除其第 fc 列已变成 
(等于所求向量《 ) 以外，与 B 蕋等同的，因此， Sfi 实际是下 
—步的基矩阵 B , 其逆(五五广^^五^月—^且因子五叫正确无误地修 
正逆矩阵. 


§8.3 对偶理论 

第二章开始我们谈到，虽然消元法给出了线性方程组 A*= &的 
一种解法，但是另一种更深入的理解也是可 能的. 対于线性规划亦 
正是如此.单纯形法之技巧可以解线性规划，但是，线性规划理论 
的核心，实际上是对偶性^这是一个优秀的思想。同时，对于应用 
来说，对偶性也是十分基本的东西。现在让我们来讲述对它的理解. 

我们从标准问题开始：在；和 Ax>b 的条件下，极小化 cx. 

但现在不产生以等式代替不等式之等价问题，对偶理论产生一 
个完金不同的问题 • 对偶问题，从同样的炱„ b 和 c 开始，但此后 
全部工作都反其道而行之。在原闽题中， c 曾为价值函数的系数， 
b 为限制条件，在对偁问题中，此两向 fi 交换位置.此外 T 不等式 
改变符号，新未知数组成行向量故容许向暈将满足 
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d 非儿 饺后， 我们将极大化取代极小化-啡一不变的东 
B 乃避对于非负的要求，包含 w 卜分适的未知向 M y 应满足条件 y 
>0 。 冏 u 之，极小 N 题之对偶问题为极大 问题： 

板大化 yb 
条件 >' A < c , 

y> o 0 

此问题之对偶为原极小化问题' 

M 然，对侃有这些"反化”，笔者应给予某些解释 . 它们隐藏 
丫 "极小化 者”与 "极大化者”之间的某种兗争。间失冉来看饮食 
问题，我们即可把这些"反化”解释得设淸楚，希垫请位再次跟踪 
一下此问题的全过程 8 极小化问题仓 fi 个未知数，代及着其需求 M 
为〜，…， A ( 非负值）的^种不同的食品，抓个约朿条件代衷 m 
种耑求的维生素，而不再是先前问题中对蛋白质耑求量的单一种约 
柬。元素为笫 i 秤维生素在第；种位品中的含跫，方程组 
的第 i 行我示毎赞不少于&<的该种维生素。最后，若 Cj 为第/秤食 
品的价值，则〜心 +… + c ,a = « 为整褚的价值，极小化这个价0 
即为原问题的目的。 

在对偶问题屮，药货出很维生素片，而非食品 。 维生素之价格 
非负.并 iLM 可以 M 整的。 这里主 要约來在于，药苈老板对维生素 
的索价，不能; err 相应数 ft 食品的价侪。因为第/秤食品包含的维 
生素量为故药房老板对维虫素的定价（即 aqh +…+ 
) 不能起过该食品的价格这就给出了约束条件 yA<c„ 
在此约束下，药房老板可出售总:以为~的每种维生素，总收入为 
+…这就菇欲使之极大化的 g 标函数、 

应当指出，此两问题的容许集足截然不同的，笫一个容许集为 
空间 i?_ 之子集，被矩阵 A 和约朿向 ft b 所限定：第二个容许集为空 
间子集.被 A 之转 K 矩阵与另一向 fie 所决定。然而，在引入 

* 此河问 SS 全对称-我们是由饪小化开始的，《1单纯形法也可以闻样用于技大 
化 R®_, 此两问 M, 在任何偖 KT 均町立即莸 M, 
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价值函数时，此两问 M 都包含相同的输入数据 A , b 和 c 。整个线 
性规划理论都菇建筑在它们之间的关系上的， 所以 ，我们直接得到 
了最基本的结來： 

80对倮定理 若原问题 有解， 则其对偶问题亦有解，反之 
亦然.此两解之值是相同的：《的极小 值等于 沖的极大值„否则， 
若最优向量不存在，则或两容许集均为空集，或一为空集，另一问 
题有无界解（极大值为+ ™,或极小值为一的）。 

如果两容许集均非空集，那么，这是第一种情况，也是最重要 
的 情况： 

从数学上讲，这一事实消除了药店老板与食品店老板之间的竞 
争： 因为结果永远是平局 D 这里我们将得到类似于对策论中之•极 
小极大定理”和平衡―这些定理并不意味着，顾客对最优一餐无所 
支付，或矩阵对策向两#加者提供完全对等的机会^它们却意昧 
着， 尽管药店老板 KWi 对每种食品均可提供代用药品，甚至保证以 
较低的价格出售象花也油之类贵重食品的代用品的情況下，顾客亦 
无经济理由在维生素与食品之间的选择中倾向于维生素。我们将证 
明，贵重食品不进入最优一泞食物之中，结果仍将为平局„ 

此结论看来可能为一僵局，但是希望诸位切莫上当.要知道， 
正是最优向單包含着决定性的信息 D 原问题中， X •为英主提示策 
略， 在对偶问题中，向•固定市场经济的自然价格（或"影子价 
格” ） ，就我们的线性模型反映着现实经济论，这些向量代表了真 
正要釆取的决策，它们仍需通过单纯形法求得，而对偶定理 只不过 
会告诉我们其最重要的性质而已。 

现在让我们来着手证明这一定理.在某种意义上，证明可能是 
显然的.药房老板可将其药品价格提高至与食品店老板的食品定价 
相应的程度.但实则不然。更确切点说，只有前半部分是正确的： 
因为每种单一食品可被其3量维生素所取代，价值并不增加，故适 
量食品的每餐必须至少与药店老板任一餐的维生素当量等价。这仅 
是一个单侧不等式，药店老板索价<食品店老板索价，但它#是最 
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芨本的东袖％我们称其为弱对偶，并且对于仟何线性规划及其对 
偶问题，都楚很容易证明的： 

8F, 若 x 和 y 分别为极小与极大问题之荇迕向量，则 
yfc<cx 。 

证 上述向量是容许的，故它们满足不等式 
和 yA<c„ 

此外， 由容许性也®味着不等式^>0和成立，故我们可取标量 
积，而不致破坏不等式的 符咢： 

和 ( 7 ) 

此 两不等式的左侧是相同的，故得弱对偶 

此单侧不等式用起來楚容黏的。首先，它杜绝了两个问题为无 
界解之可能忭：如果 yb 的值任愆大的话，则 S 至连容许向 Ex 都不 
可能存在，否则，与不等式 足相矛 盾的.冏埋，若原 问题赴 
无界的，即价值 cx 可楓小至一…，则其对偁问题不可能有容许向量 

少 。 

其次，同等重要的一点是，达成等式；^之任何向發，圮必 
然为最优向量。在这种情况 _F, 食品店老权之索价与药店老板之索 
价是相等的， 根 据顾客疋耑选择这一事实，我 们可以 辨认出这是最 
忧餐价和最优维生 素价： 

8F 若 x 和 y 为容许向踅， Rcx ^ yb , 则这些向量必定力最优者. 

证明：很据苁们知逍，任何容许如 ay 均不能使外大于 d 
因为我们所讨论的向 My 达到了这个数值，故此 y 为最优向量.同 
m , 任何容许向错 X ,均不能使 CX 踅小丁 30 ,于是，达到此最小值 
之任何 X 均必为最优者。 

我们举一个例子，有两种食品和两神维坐素： 

原问题 对偶问 M 

极小化 a ：,+ 4 ； V 2 极大化6:^+7：!^ 

条件：^!>0, x ^ 0 f 条件： yi > 0 , y 2 > 0 . 
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2x s +x 2 ^^ f 2y-, + 5 , 

5^ l +3x 2 ^7 a .Vi -f-3^ a ^4 a 

和 h = 0 之选择足可行的，得价值 A + 4 A =3 g 在对偶问题 
中， y ,= Y ， y E = O s 给出同样的数值 6 yi +7 h = 3, 因此，这些 
向 M 必定屉 S 优的。 

所有这些，看起来似乎异常简单，然而却值得我们仔细研究 
我出，当不等式变成等式时，究竟发生了什么事情„这颇似 
微分运算中的情况，人人皆知函数为极大或极小的条件仍是一阶导 
数等于0,然而，人们却常常忘记，在有限制的情况下，此条件会 
完全改变。最好的例子便适一条向上倾斜的直线，其导数永不为 
0 ,微分运算几乎是无济于事的，但在此区间之最右端肯定会有最 
大值，这与我们在线性规划中所遇到的情况完全 一致， 尽管这里有 
更多的变量，通常的区间被多维的容许集所取代，但极大值总是可 
以在容许集之某一角上找到的。用单纯形法之语言讲，那就是，有 
— 个最优 基向量 它只有个耶0分量。 

线性规划中的现实问题在于决定哪一个为最优角。为此，我们 
必须承认，微分运算并非完全无济于事.而且远非如此，因为 u 拉 
格朗日乘数"法将使我们回到极大慠小点的0导数上来，而诸对偁 
变量 y 实际上恰好是极小化 ex 问题的拉格朗:日乘数。此法也是非线 
性规划的关键，但我们并不拟渉及此问题，因为它超出了所讨论问 
题的范围。约束极大扱小的条件将在等式 （ 8 ) 中以数学形式给出， 
但是首先我们想以经济的术语表达出来：在下列情况下，营养餐* 
和维生素价格 y 是最优的。 

(;> 食品店老板不销售趙过其维生素当量价格之任何食品； 

( ii ) 对 t 养餐中过量之任何维生素.药店老板之索价为0„ 
在此例中，因为第二种食品过于昂贵：其价格超过了 
药店老板之索价，因为 yi +3 h <4 变成了严格不等式++0<4。 
同理，若第 i 种维生素过量，则％ = 0 ; 这是“免费”的，就是说， 
它是不值钱的。此例中，我们曾要求7个单位的第二种維生素，但 
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这一份营养飪却提供丫 5\+3心=15, 故由此得 h = 读者可以 
吞出，对偶 N 2为何嗖得完整起来了；仅仅在此两个条件都满足的 
tm 兄下，我们才能得到一个最优对 a 

这些条件，如以矩阵形式丧达出來，则将很容易理解，我们把 
h ’ llftAx 与叫量 b 相比较 (: 记住，容许条拌为 A ； c>b ) ，并寻找等 
式不成立的那些分 S 。 这对应丁'一种过 S 的维生素，故其价格为 
^ = 0. 同理， 把; ^与 c 相比较，并期望所冇严格不等式（昂贵食 
品）对应于 ~ = ( K 由此营养餐中排除）„ 这就岳 浅性规划中的■•互 
扑松他条件_’及非线性规划中的 " Kuhn - Tucker 彔件"， 

8G 平衡定理 设容许向量 x 和7满足下列互补松弛 条件： 

若 (As),>i^, i'iijy, = 0,若 ( yOj.Cc』-, 则; >c 严0 (8) 

那么，X和 y 为最优向量。反之，最优向量必须满足条件 （8). 
证明 关键方程为 

yb=y{Ax) = (y A )x=cx (9) . 

在正常情况下，只有中间的等式，才是确定无疑的，在第一个等式 
巾，我们确知，和 Ax > b , 因此，此外，只在一 
种情况下，等式才能成立：只要发生不等式匕<(^；0< ,则与这些 
分量相乘之因子 h 必然为0 ,这时.它对于内枳没有贡献，故等式 
得以保持。 

对于其余等式来说，情况也是这样：容许条件给出 x > 0和 
yA<c , 由此可得不等式只有当第二个松驰条件满足 
时，我们才得到等式，若冇不容许价格存在的话，即 
则必须通过将此不等式乘以心==0的办法予以消除，结杲在关键方 
程（ 9 )中.我们得等式 = 保证 x 和 y 之最优性者，正是此等 
式 （ 且此等式亦由 x 和 y 的最优性所保证）„ 

^关于单侧不等式 yfc<cx, 我们就谈这些„其证明是很容易的。 
它曾给了我们一个快速检验最优向景的方程 （ 这些向量把不等式变 
成等式），最后，它给了我们一组必要和充分的松弛条件.它唯一 
尚未做的便是诋明等式沖― cx 为实 际可餌的，在最饨向暈真正产生 
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之前 （ 而这一点并非几个简单的步骤即能做到的），对偁定理不算 
完成 D 

为获得最优向贷，我们回到单纯形法——我们已经会用此法采 
求 最优向 问题在于同时求出 最优叫 量 y, 从而表明，尽管单 
纯形法是为解原问题而构思出来的，但对于对偶问题, _ 也能在恰当 
的地方 终止。 首先让我们来回顾一下，它是如何开始的.通过引入 
松弛变量 z = 并将容#条件改写成 

[A— /〕1 |= b , 1 j>0, (10) 

的办法我们卽把 m 个不等式变成了等式 t 然后此法的每一阶 
段都选取长方矩阵〔4- n 的 m 列作为“基列”，并将它们（至少在 
理论上）左移，结果得矩阵 CBFh 在扩大的价值向量 〔 c 0〕中之 
相应位移，把该向量变成了 〔 c „ Ci ? 〕 。单纯形法之终止条件为 r = Cf > 
- c b B -* F >0 o 

我们知道，此彔件终究是要成立的，因为角的数目是有限的。 
此刻 f 价值函数等于 

cX=lc B C ,〕 1 丑 0 办 J = c J , S - 1 6 ■一最小价值„ (11) 

如果在对偁问题中，我们能够选择夕那末，不言而 
喻，等式 yb = cx 就会 成立； 最小值与最大值 相等。 因此，需要证 
明， y 满足对偁约束条件 yA < cty >0, 即 

: y ( A — 2〕<〔 c 0〕， （12) 

在单纯形法中，当我们对矩阵 （A -/〕进行变换，以使基变量为初 
变 量时' 这就重新组合了约束条件，结果，这些条件便具有了 

yt s F 〕<〔 c fl c ，〕 (13) 

的形式。在选取时，这个约束条件之前半部分即变成等 
式，而后半部分则变为这与终止条件 r>0 是完全一 
致的，我们知道，此条件是满足的„因此，向量 y 是容许的，对偶 
定理于是证明完了。分离出相应的 m 阶矩阵 B (根据预先假设，该 
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矩阵是非退化的） 之后, 笮纯形法产生了 S 优向贷 ^ . 亦产生了最 
优向景 

练习 8.3.1 求下述问题之对偁 N 题： 在条袢 
Xi > Q , x ^ O , 2 X ,> 4 , A 十之下，极小化 
求此问题及; ! i : 对偶问题之解，并计箅出它们之共同值， 

练习 8 . 3 . 2何为下述问题之对偶问题：在条件 
^ i >0, y ,> 0 , 力十;^<3之下，极大化％?求此问题及其对偶问 
题之解. 

练习 8. 3,3设 A 为单位矩阵 （ m = ， MPc 为非负向跫， 

试说明，在极小问题中，为汁么 V = & 为最优向鲎，求极大问题之 
最优向量，，并验证此两值 >5: 相等的，若向盘 & 之某 些分最 变为负 
值，那么， Y 和，会发生什么情况？ 

练习 8.3. 4试举一一阶例题，其条件 Ax >&, 力非容许 
的，且其对偶问题为无界的 a 

练习 8. 3‘5对二阶矩阵 A =〔(； ，选取向和 c , 
使及： M < c , 两容许集皆为空集 s 

练习 8.3. 6若 A、b 与 c 中之所冇元素均为正时，求证原问 
题及其对偶问题将自动成为容许的。 

练习 8.3. 7如果 

’ 0 0 1 0 ^ 

0 10 0 

A 二 ， 

1111 

■ I 0 0 t ' 
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求证1, 1, 0)和7=(1，1,0, 1) 在通常对偶问题中为 
容许 ft 。 计算出《和;^之后，说明何以得知其为最优向量。 

练习 8.3. 8验证上题之向量满足 K . 补松弛条件 （8), 求出原 
问题及其对偶问题屮的松弛不等式。 

练习 8-3.9 = C 0 1 6 ^ C -1 D * C =〔 l 〕， 求 

最优的 X 和 y ,并验证满足互补松弛条件 (: 以及条件坤=« ). 

练习 8-3. 10如果原问题之约束条件为等式而非不等式的话， 
即在和的条件下极小化 cx , 那么，在对偶问题中， y>Q 
的耍求即行 取消： 在条怦下极大化 y & u 求证，单侧不等式 
灿<« (依旧 冇效.为什么条件 y >0 在 （7) 中是必须的，而这里则不 
然哫？ 

影 子价格 

在右侧 b 或价值向黛 c 发生变化时，最低价值将如何变 化呢？ 
这个稳定性分析问题，它可使我们从单纯形法中挖掘出该法所 
包含之许多附加的信息。这些与极 限价值 有关的问题，对于经济学 
家或者公司领导者来说是至关重要的„ 

如果我们允许向 Sb 和。有很大的变化，那么，最优解将发生 
跳跃式的变化。若蛋类涨价，则在一定的时刻，人们就会由营养餐 
中取消蛋品 成份； 用线性规划的语言来讲，即变置由基变量跳 
跃弍地转变成自由变量》为研究此变化，必须引入所谓参数规划的 
概念。但是 t 如果象通常情况下那样，变化量并非很大的话，则最 
优角仍将 最优； 基变凳依旧是原基变量，换言之，矩阵 B 和 F 不发 
生变化。从几何学上讲，这意味着，我们使容许集稍有移位（通过 
改变向量6)并使平®族倾斜一下.以把移位的情况考虑进去（改 
变向 Sc ); 如果这些变化不大的话，则切割仍发生在原来的角中 
(但稍有位移）. - 

在应用单纯形法的末了，3站变量组已经明确时，矩阵 A 相应 
的 m 列将构成矩阵在此角中 
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鉍 小价值 

位移鉍小价 位广 生， .. 处之变 H 对偶问题之解，给 
出在向 m &变化 时敁 小价值的变 m 迪度 (： 即导数 ） 。 向量/的诺分 
兌被称为影子价格，它起哲很显然旳作用。若对维生素 a 的需求量 
增加而其药店价格等 _ Ty ，， 且药店老板完全冇与食品老板竞 
争的能力，则（药店老板或食品老板）如营养餐价值将提萵 
如果 Y /等于 0, 那么，维生素屯就垃“免费的”，故其需求量之 
不大的变化 * 将无任河 影响： 营养餐对它的含 m 已经过 

我们感兴趣的是男一个问题。假如我们需要营养餐中至少要包 
含有少量的蛋品，即非负条忭要变成;这将对价值 
产生什么影响呢？ 

苦设优萏养餐中 ii 泾包含钉蛋则任何变化也不会发生，新 
的要求已经满足，故不引起附加的开销。 m 如原来并不含有蛋品成 
分，则加入丼量为 <5的蛋品，就要増加一定的开销 „ 此增加值并不 
等亍之全价，因为我们可以减少其它食品的含 fi . 节省下这 
部分费用。实际上，价值的增加 取决于 蛋品的己减价值——其本身 
价格，不包括我们为被蛋品所取代之较便宜的食品所付的价格.为 
计算此已减价值，让我们回到方程 （2); 任一新的营养餐具有 
价值 = ( C '~ c s B _1 F ) 々十 + 

若逛品数量为第一自由变 K , 则向之第一分钻增加3,将使价 
值增加因此，已减价值等于同理，向 Mr 给出不为基变 
盘的所有其它食品的已减价值，即当向置^ ( 非负约粜条件）之下 
边界向上移动时，总价値的变化量.我们知遥， r >0 , 因为跎彔 
件昝为终止准则，从经济角度来考虑，也会得到同样的结论，即蛋 
品的已减价值，不可能为负，因为，如果为负，那就意味若，营养 
餐在此前就已经包括了蛋类成份。 

练习 8.3. 11如果原问题有唯一的最优解 X '且向铽 c 稍有变 
化的话 ， 那么，为什么此时 V 将仍为敁优解？ 

练习 8.3. 12若牛排价值 c : 等于3美元， W 花生油价值 Ci 等于 
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2 美元，它们分别提供2和1个单位的蛋白质(而要求4个单位)， 
那么，蛋白 m 的影子价格和花生油的已减价格等于多少？ 

不等式理论 

对偶性可通过各式各样的方法来进行研究，我们前面采用的方 
法 -一- 证明# 然后通过单纯形法求得等式 一一 曾经是很方便 
的，阁为在此以前单纯彤法已经建立起来了„但其证明很桎 a 当 
然 T 3也曾给的是一个构造性的证明，实际上已经求出了最优向量 
/和现在让我们采简述一下另一方法 a 这里用的不是单纯形算 
法，而是几何概念》笔者认为，如果我们不谈某些细节的话，其关 
键思想将同样是清楚的 （ 实筛上或许更清楚）。 

此方法的最好解释，来自线性代数的基本定理 s 我们提醒一 
下，第二章的问题在于解方程组 4x=&, 换言之，即在矩阵 A 的列空 
间求向 ft b s 消元法之后，也在研究了四个基本子空间之后，方程组 
的可解性问题在练习 H11 中以一种完全不同的方式得到了解答： 

8H 或方程有解，或存在某个使 3 Vi=0, 的向量 

y . 

这就是 二择一 定理，因为同时求出； c 和 y 最不可能的 ： 若 = 
b ， MyAx = yb ^ 0 ；这与等式 y^U=ox =0 是相矛盾的.以子空 
间的术语讲，这意味着，或者&位于矩阵 A 的列空间中，或者它具 
有某个位于正交子空间中之非0分童，该子空间为矩阵 A 之左核. 
此分量便是所要求的向量 y' 

对于不等式，我们想找到一个完全相似的定理。为此，最合适 
的出发点仍然長方程组但要增加约束条件 , 即 ，什 
么时候方程组不仅有解，而且有非负解？换句话说，具有等 
式约束条件之问题的容许集何时为非空集？ 

为回答此问题还得回到可达向量，即向量&之概念上来'对这 

• 赫 mj ㈣ ，此诋明 不足构 造性的 ^ 伐们只知道，该分蚩应该是存在的，否 
M 向 S 6 就该位于列空 ㈣ 中了 。 


■ 381 • 



些向 a 来说，方程组 ax =&是可解的。第二章■曾经指出，在任意向 
量的情况 下； 向蛩九^可能为矩阵4诸列的任意组合：若向量 b 位于 
列空间，则便足 可达的 a 现在我们只允许非负组合，诸可达向 
已不再构成子空而构成图 8. 5所示之锥肜区。对于一个 mxn 阶 
矩阵來说，在 m 维空间中，应该冇《列，锥即变成某种充底的梭 
锥。在图上， M 维空间中画冇四列，矩阵4为 2X4 阶。 若向量 b 位 
于诙锥内，则方程组 ax = brr 非负解 ； 否则即元这样的解， 



田列之非负 a & 所构成的 w 

我们的问题在于找出其另一方 案： 若向量 b 位于锥之外，结 
果将如何？这秤情况示于图 S. 6中，其几何意义 一g 了然.有一个 
“分离超平面"，通过坐标原点，将向贵 b 分在其一侧，而整个 
锥在另一侧 （ “超"宇只不过用來强调维数可能 较多； 至于平面， 
与通常一样，由垂 芄于固 定向量 y 的所有向置构成）„向量 y 和 b 的 
标量积为负，因为它们之间的张角大于而向量 y 与矩阵 A 的 
任何一列的标量积为正。翻译成矩阵术语，这就是说， yb< 0 r 
MyA> 0 ,这就是我们所寻找 的另一 种可能情况： 

8) 或#方程组 = & 有菲负解，或苒存在某向® 使 

0 , yb<0 „ 
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田 B , S 向位千圆锥之外且在分界平面之另 一 « 


这便是有关分离超平面的定理。对于数学经济来说 f 这是最基 
本的东西，其证明可在 Gale 有关线性经济模型理论的名 著中找 
到. 

例 若 A = L 则其_锥为正象限。此象限中之每一向量 fc , 均 
为列向量的非 负浅性组合： 

b c ^ 3 ' 1 b ^ 2 

对位于该象限外之任何向坫 b 来说，第二种可能性应当 实现： 

若。= [— 雰],则7=[0 ! ] 沿;! 而 yb =_3。 

此定理会立即导致一系列的类似方案 （ 参阅 Gale 一书）.其 
实，读者几乎得以相倌，无论何时，只要两个方案互相排斥， 其中 
必有一个是成 立的。 例如 f 子空间 S 及其正交补空间&不可能同时 
含有正向 S , 其数最积此时将为正值，而正交向量只能给出0数量 
积。另一方面，我们不敢肯定，或者 S , 或者 S 1 就应该包含有正向 
13： S 可能为 d 而 W 为; y 轴，在这种情况下，它们仅包含有"半 
正向 （ i 0〕和〔0 1〕.值得注意的是，这个稍弱的二择一 
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确实屉成立的：或者 S 包含冇正或者 S 1 包含有半 
当 sftdj 平 M 中之垂笪直线时，&而易见，其中之一必定会通过 
笫-汶限；似这个问题在多维情况下，却不太淸楚》 

对于线性规划，最®要的二抒一问 M ,足在约束荼件为不等 
式，而不是等式的时候发先的： 

8 J 或者方界组冇非负解，戍密存在某向 M a i'H yA > 
0 , yt)<0 t j<0 „ 

如果我们引入松弛变量 w=AJC-b, 以变不等式为等式： 



则很容易由 W 得到 S 人若不存在非负解，则报椐 SI , 必定哲这样一 
个向量 y , 2 

y{A~l}>{ 0 0 〕， yb< 0 „ 

这正是 8 J 中的第二种可能性，正是这个结果，导致了对偶定理之非 
构造性证明.但是，我们许诺过，耍注意几何意义，而略去其代数 
细节，故我们要倍守这一诺言。 

练习 8.3. 13若矩阵 }], 描述其列所产生的圆锥。 
若向量 b 位于此锥内，臂如 b =( 3 , 2 )' 眾唯一的容许向跫\若 b 
位于此圆锥之外，例如 6=(0, 1) T , 试问，何向量 y 将满炬第二种 
可能性？ 

练习 8. 3. 14在三维空间中，能否找到六个向其非 负组合 
所构成的锥充满整个 空间？ 

练习 8.3. 15用 W 证明，问题 



无解 （: 因为第二种可能性是#定的）。 

练习 8 . 3. 16用 S /证 明，问题 





无非负 解 （ 因为第二种可能性姓肯定的 ）• 

练习8 . 3 . 17 K 明8 J 的两种可能性不能同时实现， 

§8.4 网络模型 


某些线性规划具有易于求解的结构.这秤情况，在第一章解线 
性方程铕时，我们就已扛遇到了，在那里，对 f 其非零元素 
都集中在主对角线周 闱的 带状矩阵，使用消元法时，运算量的数量 
级由减少为 n 。 觅于在线性规划中，我们将划分出专门的一类问 
题，即网络问题，在这里，矩阵4也含有 大量零 元素，而它的非零 
元素通常等于 + r 或 _1 ( 但是，对角线无从划分，因力矩阵是矩形 
的）.对于这些问题，消元法的步骤，只是做加法和乘法等简单运 
算.就是这样，也能解决比通常情况下要多的问题。但是，应当指 
出，在最坏的情况下，该方法的步数依旧可能按指数增长（参看 ： 
1978年1月《 Scientific American 》 杂志上的一篇文章 •） ，然 
而，像单纯形 fic 计算那样，这是很少会成为危险的。 

向然， 只有问题本身很重要时，求解的高速率我们才感兴趣. 
网络问题在工业，经济规划的各个部门都有应用，例如用于货流、 
人流.气流、石油或水流的分配。我们可以货物转运问题为 例：成 
品应当先分配给各仓庠，由此再发往需求地，这一切均应使花费为 
最小.产地、仓库和需求地为网络的结点/而它们之间的路径称为 
弧。 

图 8. 7 中给出了这样一个模型，在圈的每一弧上都标有其最大 
通过能力.问题在于得到一个从产地（结点1 ) 到库存地（结点 
6 )的最大可 行流。 箭头所示之流向是不能改变的，转运费用也不 
考虑.这是网络问题的一种个别情况，称之为最大流闽 I 8 L 

从结点 i 流向另一结点/的流量力未知量。尽管^是向量， 

* H*R*Lewis, C, i:* Fapadiinil riou 

The Efficiency of AUorittims*ScienUfic American 302( 1978)*96-10^. 
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m 8 . 7 具有通 过能力限制 的系统 

力了方便，我们还驻采用了双 K 脚标表示法。不过，只考虑对应图 
上所示各弧的向.謎4 2 x i 4 ，…， x 6 e 。 如果这些弧 的上限 （通过 
能力）等于那么单个流量的约柬具有形式 

此外，对每个中间结点亦有约束，即进、出流量 相等. 如果我 
们设想一个通过能力为无限大的管道（在图上以虚线标出 ） ，并把 
全部货物由库存点再返运至产地，则此约束对于产地和库存点也是 
正确的。流入标号为;’的结点的总流量，等 T 自所有 i 结点汇集而 
来的2 知， 而由第/个结点流向所有 fc 结点的总流量等于 
所以，平衡约束为 

2 2 x n = 0 , ?'= 1 , 2 ,…，6 • 

此方程的系数矩'阵被称作 i 联矩阵，并具有一种特殊的结构。六个 
结点中的每一结点均对应该矩阵的一行，而九条弧中之每一条均对 
应于一列，+〗和 _1 完全刻划了结点与弧之间的联系， 


• 向 Sr 的每个分上诏和下限被称为《箱子"约柬，由容许粜的® 状而 得名， 
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^ 1 z ^ 1 3 Xli X S 5 ^*3 ^ X 3 5 ^4 fl X CI 1 ^ • 

在最大流问题中，我们力图使 ^ al 尽可能大，所以这是通常的线性 
规 划问题 （练习 S.4.S) ,并且可以采用单纯形法求解。但是，我 
们想应用更为简练的方案。不抝电子计兑机，读矜便可确定出最大 
I 因此，我们立刻转而研究，表明确为最大值而不可能再增大的 
条件。首先，我们引进网络的截的概念，截把所冇结点劈为 S 和 V 
两组， S 组包含发点， S 组包含收点，我们把 FUSES ' 所有弧的容量 
的和称为截的容量。 

例如，如果 S 含有第一个和第三个结点.那么这个截的容董为 
4 + 3+4=11。比11还要大的流暈是不可能的，因为它不可能通过 
该截， 

LK iii 小截最大流定理 

网络的最大流等于最小截的容董， 

证明单_不等式足显然的：对于任一流量和任一截，流董都 
不超过截的容量。任何流量最大不过于使与截相交的所有弧均达饱 
和的 程度， 各 弧的总容量为流量的上界.这种情况，类似 于珉对 
偶，即对所有容许向量 和; y 均满足的不等式 y &< cx 是容易的， 

这里 也好，对偶定理也好，更加困难的问题在于证明不等式什么时 
候达 到等式 „ 

假设某一流量赴最大的。我们采研究一下所有未饱和的弧 。假 
设 S 包含发地，以及由此沿这些弧可达的所有结点.其余结点属于 
SH 此时收点将位于 Y 内，因为不然，流量就不会趄最大的。不 
仅如此，连接5与义的每一条弧都是饱和的，否则，非饱和弧进入 
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的结点就会屈于 SiLL 时非浐组了。因此，流 量真的 充瑭一个截， 
于是等式成立了， • 

这使我们能够险验给定的流量是否为最大流，只需要求出相应 
的截就行了.在我们的例子屮， M 大流等于6,相应的截示于图 8.L 



图 8.8 最大淹和最小截 

这个定理也给出了求餃大流的一个算法：对于任意一个流，应 
该计算毎条弧上未被利用的容 M, 如果沿着某条未饱和的路径可达 
收点，那么应该增加此路径的流量到最大可能，并且计算其 结果。 
注意，如杲发生由结点 A 到结点 B 的转运，则几乎全部货物可以返 
运回去，这样并不改变总流量的方向，换句话说，可以由结点 B 到 
达结点 A。S 大流应逐浙达到。在容量为整数的情况下，流量亦将 
为整数，即此问题属于整数规划范畴。 

练匀 8.4.1 如果我们能够増加网络中某个管道的容量，那么 
应该选择什么管道以便得到最大流的最大 增量？ 

练习 8 . 4 . 2求下图所示之网络的最大流和最小截。 

练习 8.4. 3在最大流问题屮.引进松弛变量 ^^ = (1,,. — ^^, 
在条忭 

[t n [: 

下，极大化与此 对偶的问题包含六个未知量 h 和九个未知量 
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对与最小截相交的各弧选择 20 = 1, 对其余的选择 7 -=0, S 中的结 
点 y, = 0, 5/中的结点兄=1.求证上述逸择是可行的同时也是最优 
的。 


筒单的指派问埋 

假设我们有 m 个人 ft 项 工作。 其中每一个人只能完成其中某几 
项工作.能否按专长把工作指派给大家，同时不同的人不派同一个 
工作呢？ 

不难求出可能实施这种指派的必要条件，第一，每一个人至少 
应有一个专长，第二，每两个人应有两种不同的专长 5 并且每三个 
(或 fc 个）人一组应该有能力完成三项（或 fc 项）不同的工作.显 
然，不这样，技的是不可能迖到的，问题在于证明，如果每一组都 
满足前面列举必要条件，则分工是可能实现的„ 

8L 当見仅当锊一组均能完成充分多数量的工作，并且若一组 
由 fc 个人组成，则他们至少能眵共同完成 fc 项工作时，指派才有可 
餌实现。 
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乍; n - 起来，这个袅片耍求过低， 闪为一 r 找能貼 J 明 A 人能姊 
帮讪全 组人扒來满足;立个条件。 IH 是，驾知爸这个条件是适用丁 •毎 
—组的， 邛中 也包 坫没丫 N . H , 巧叨人员的那些小饥。如果指派工作 
不可能劣缻，邠么总能找到不满足这个缶沖的一组。 

i £ 明，从设计一个问络开始，此网络在每个人及其所能完成的 
- E 作之间見有容 U /队 之后， 卬详 K 为1的扭把人扪与发点连 M 
来，而把工作与收点连起来 （ H 8 .； o 。结取若总流 a 等于 w , 那 
么起 q 发点的所冇的弧将是饱 fN 的.并 FI 都有工作 5 



E 8.9 工作网络 

假设 S 大流小于 m . 这时，应该苻一个； !{ 容® 小于 m 的截存 
在，例如，使 S 包含发点和结点…， 7 A; ，…， Ji 的这样 一 

个截.在这 fc 个人中无论谁都无力完成其它的工作.倘若不然，就 
会找判一袅与该銳相交的容 M 为 m 的 iiiL 因此，敉的斿逯等于 m — 
fc ( 山犮点?1闲迓人员）加 L ( 山这些工作到收点），其总的容最 
为 w~fc + L, 在 L<0、|, 此 U 将小 Tm , 从而我们找到了只能完 
成 L < K 项 X 作的 fc 个人组成的 一 ffl „ 苦指派是不可能实现的， 
即流量小于 m , 那么，这就意味着，冇坫组人员阻碍了分派工作的 
实 ML 

练习似设毎\均能宂成闷项 X 作，并 II .不存在△个人 
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與有相同专民的情况，求证在这种情况下指派是可能实现 W 。 

练习 8.4. 5假设冇无穷多个人和工作.前 m 的人能够完成任 
何一项工作，时后而的第 f +1 个人仅 有第; 个专长。求证，每 fc 人小 
组都柬 少能够完成 fc 项工作，何是所初的人都分配工作却是不可能 
的 D 

简单的指派问题亦 称婚配 问题.每一个 M 娘只在一定的小伙子 
间进行 选择。 为了使每一个姑娘都找到配偶：每 一fc 个姑娘 （fc= 
U2, …）的小组至少应当嵙爱 ft 个小伙子这也就足够了„笔者不知 
逍，如果小伙子也想挑选一下姑娘，会产生什么情况。如果姑娘们 
持有偏爱的尺度来代替简单的"行"和 "不行"， 如果待分 工人员 
也有一个标度的话，即当第 f 个人对于第/项工作具有胜任系数 
并且，在根木不具备相应的专长的£^= 0情况下时，这样就 
导致了最优指派 问题： 在给定工作的条件下，极大化胜任系数之 
和.这也是一个线性规划问题：在每人分配一项工作，每项工作均 
安排一人去做的愦况下.极大化2 

另外一奔名的例子，是推销员问题。从自家开始，他应访问过 
ti _ 1个 城市洱 同到家如珙从一个城市 f 到另一个城市/的距离 
(或旅费）等 To , ,那么，推销员应当在每一个城市访问一次的条 
件下，即 

x ii = 1 . L , X‘f> 0 

i i 

极小化 

这样的提法不完全得当，因为何题的解可能是几个个别的数 
值，每个数组可能在其间构成闭环，因此，由家 M 出发之后，该 
推销员永远也到不了所有要去的城市.所以，必须引进一些补充约 
束，而这些约柬之多，莧使这个乍看起来很简单的问题，实际上变 
为北常困难的了， 、 

与网络相朕系的问题是求出一个从发点到收点的最短路径 = 在 
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毎一条弧上均给定一个 逋过的 时并考虑对偶 问题： 每一结点 
对应一个小时间 y, ,在 

和发点 y=o 

的条件下， 

极大化收点 h 

这个问 题可 H! 动态规划的方法求解.从发点开始，我们求出到相邻 
结点所'渴的敁小时间，并逐渐向前移动，如果在网铬巾无环，，做到 
这一点是很容品的。动态觊划中的澠木原理为递归晟优化晤则：从 
发点到收点的最优路径、同吋也菇从发点到该路径上 ffi —结点并从 
此结点到收点的最优路径。不管现状如何 t 在此以前所得的解应是 
最优的1结果，问题可分成若千简单的部分. 

让我们还提一下运输问题，即无需中转而由生产者直接发往市 
场的网络流的问题 。第 i 个工厂供给 a 件产品，而市场;+需要心 
件，其间运送一个眾位产品的运费为 Ci i 。 于是.发货量应满足 
不等式 


XiS^-dj , 

.■ r 

为得到运输的最优性，我们将极小化 


S 2 CijXij • 

练习 8.4.S 若练习 S. 4 . 2 中的数为运输时间，那么，从发点到 
收点的最短路径将 M 现什么 样子？ 求所有其它结点的极小时间夕 
(动态规划的特殊情况），并且 说明， 为什么在每一条孤上均满足 
不等式 y 厂: y;<k. 

练习 8.4. 7解下述运输问题：两个工厂产量 Si = b 三个市场 
需求量七= 4,运输费用组成矩阵 

-[:::]- 

练习 8.4. 8生产和需求在什么样旳条件是运输问题的可行性 
条件？ 
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§8.5 对策论和极小极大定理 


矩阵对策，最好用例子來说明， 

例1 有二人参与对策，规则对每一局都相同： 

局中人 x 举起一只手或两只手，另一个局中人 y 也独立地做这 
样的动作。如果他们决策一致，那么得10 元； 若他们采取的决 
策不同，则 X 获胜： 他举一只手时，贏10元；举两只手时，贏20 
元。局中人 X 总的贏得很容易记作矩阵形式： 


A 


-10 20* —只手 

1Q — 两只手 


— 两 
只只 
手手 


Y 


稍加思考，就会得到一个大致的策略。显然，局中人 X 不会在 
各 M 都出示同样的对策，否则，局中人 Y 就会学着他的样子出萊对 
策，必获全胜+ n 同样，局中人 Y 也不能总出示单一的策略，不然， 
局中人 X 将出示不同的策略。两个局中人都必须采用浪 合策醸•此 
外，在每 一 M 中策略的选择都必须与前而各局绝对无关，不然的 
话，若另一局中人觉察到对方的某一个策略规律，他就会利用这一 
规律。甚至，“贏时一直抱定同一策咯，而当第一次输过后 t 苒变 
换策略”。这样的策略模式，显然也是无益的^在足够多局之后， 
对方就会确知你将出示怎样的策略。因此，局中人便处于下列情形 
之中： 局中人 X 决策，以频率为义举一只手（则他以的 
频率举两只手，并且在每一局中这个决策都是随机的），而局中 
人 Y 选择自己的概率为 = 我们看到，这些概率中无 

论 哪一次 都不应当等于1或0 ,否则，对方就会调整决策而开始获 
胜。同时，所有槪率均应为 I / 2 吗？ 这也不尽然，因为，这样局中 
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人 Y 输 so 元的次数就会过多，（在总只放的1/4中，他饵局要输 淖 
2 0元，3外1/4中，每局输掉10元，半&的迕#中毎局赢得10元， 
即平均每 局输掉2 . 5元。）但是， R 中人 Y 越是倾向举两只手的策 
略，局中人X就越足倾向举一只手 IW 策^ 

整个问题在于寻求一种平衡^足杏存在这样一种混合策略7,和 
如果被中人 r 所一讥杲用，就会迫使 x 丧失任何 优势？ mi 
地，兄屮人X能否选出这样的概率;; dN.h, 使得 y 选抒自己的策略 
没有仟何意义？如果存在这样的平衡点的话，则在这一点.局中人 
X的平均贏得达到一个鞍点：此平均值，对X为极大，对 Y 为极 
小。眾出这样的鞍点就叫做"解”幻策。 

局中人X的观点可以这祥来阐明 .. 由权为 A 和 1—A 的相应矩 
阵列形成新的列， 例如， 假设他选収权为: V5 和2/5,这时列将: H 有 
下列 形式： 



在这样的选择下，不管局中人 Y 的策略如何，他将输掉2究。 
支付仍旧为 10 元和 2 0 元。但是，如果局中人 y 执蔚地举一只手，那 
么，他将在 3 /5的总局数屮每 M 贏得10元，在2/5的总局数中每局输 
掉 2 0元，这就得出平均每元的结荇 Y 準两 只手或 以任总 
比例出汞混☆策略，他还是要平均 每局输 2 元的。 

但是，这并非 怠味打 ，对局屮\7来说，所有策略都是最优 
的I如果他懒情，继续举一只手，那么X就一定要改变策略，而开 
始每局嬴得如元. ii\lh Y 改变策略，X也将再次改变策略，若两 
个局中人均足冇泾验， 咄归根 结底.无论楚 Y 还是X都终将安排敁 
优的混合策略。这就表明， W 屮人 Y 将对其权为 h 和〗之矩阵 
进行组合，试图得到尽可能小的新 a : 

}' 〔一 10 ^0] + (l~y,KlO -10〕 

=C lO-L'O^! - I0+30JM ). ' 

在这种情况下，最好的贷略是使两个分 fi fn . 等： 10-20y ; = 


* 394 ■ 



~10 + 30 yij 巾此得 h =2/5。 在这神选择下，两个分最均等 T 2 f 
新行 H 冇〔2, 2〕形式.所以，选抒这样的策略，局屮人 Y 每 R 的 
损失不可能超过2元，局中人 Y 极小化了 U 己的汲大损失，这个极 
小极大 （ 2元）与局屮人 X 独立求淠的极大极小是一致的。对策的 
值就是这个极小极大或极大极小，即2元 3 

这个鞍点值得注意，因为它意味着局中人 X 只在2/5的时间内 
采用其第二策略，纵然此策略给他以赢得20元的机会，亦得如此. 
与此同时， M 中人 Y 被迫采用不利的策略——他本来的意愿是重复 
局中人 X 的动作，但逛，这里不然，他用相反的概率2/5和3/5进行 
对策„可以检验， X 赢得10元的频率为3/5 • 3/5 = 9/25,廉得20元 
的频率为2/5 * 2/5 = 4/25。艽余的12/25则为输掉〗0元的频率.正 
如所期 M 的，这使他平均每局赢得2元。 

下面让我们指出一个容易犯的错误。台的最优组合不总是给出 
相等分量的行。裥如，除上述规则外，假设局中人 X 尚可举起三只 
手，此时若 Y 举一只手，则 X 麇得60允， Y 举两只手，： t 廉80元， 
此时支付矩阵形 式为： 

[ -10 20 601 
10-10 soj* 

局中人 X —直都选用这个新的策略，即矩師各列的权固定为义= 
0, ^2=0, 1 ,且最小的贏得为60元。局屮人 Y 在行组合 

屮，选取给出 K 有最小分量的行的那个组合，即选择第一行，这时 
Y 之最小损央为60元。因跎，我们同样将得到极小极犬和极大极小 
相等的结论，然而此时鞍点被移向了一角。 

规 则是： 在行的最优组合的条件下，对于局中人 Y , 对策之缸 
仅位于（正象为 2 元和60元的情况一样）周巾人 X 实际所采用的那 
些列中。类似地，在列的最优行合之彔件下，对于局中人 X ,同样的 
对策值位在属于同中人 Y 的公 优策略的那些行内，其它诸行给出更 
高的值.故 Y 将避开它们 s 这个规则完全地对应亍线性规划屮的互 
补松弛条件 s 
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练习 8.5.1 如果赌注从20元增加到 tci 元，最优策略如何变 
化？对策的新值等于多少 （ 局屮人 x 的平均赢得 ） ？ 

练习 8.5. 2假设支付矩阵为说明厨中人; f 如 
何计算14己的极大极小，而局中人 Y 如何计剪 f 自己的极小嵌大，最 
优策略V和〆是怎样的？ 

练习 8 . 5. 3假设某个是行的最大元和列的最小元。试说明， 
为什么局中人X总是选择第/列，而局中人 Y 总是逸择第 i 行（不管矩 
阵的其它元素是 什么？ ） 求钲.在上一练习中矩阵包含这样的元素. 
最后建立一个不包含它的矩阵。 

练习 8.5.4 若 


4 
0 

用组合杈为之行的方法，求局中人 Y 的最好策略，并且画出 
所有三个分 5L ra 中人X将抱定最大的分量（粗浅），而 Y 则应极 
小化这个极大。此极小极太（虚线）的高度如何 f ，等于什么？ 





练习 8.5. 5矩阵 A 同上，求局中人X的最好策略，求证他仅用 
两列 （ 第一列和第三列）并且相应的 S 线在极小极大点相交 。 

练习8, 5. 6如杲 
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求两个最优策略和对策的値。 

练习 8.5. 7 假设 什么样的权 h 和1 会 

给出 f 形式 之列？ 仆么祥的 Ky , 和 l _ yi 会给出新的行 CV . V 〕？ 
求证 

极小极大原理 

最一般的矩阵对策，与我们上述的简单例子几乎丝毫不差，只 
是有重要的一点例外 ： 局中人叉有《种可能选择，而 y 有 m 种可能选 
择。衝以每一局都有不变的支付矩阵 A , 具冇 m 行和《列„其每一元 
萦均为局中人7选择了笫 f 个策略的同时 f 局中人 X 选择第/个策 
略时之贏得.负；6素只不过意味着负的支付，即 Y 贏得。结果与具 
有零和的二人对策完全一样：一个局中人输掉的恰是另一个局中人 
贏得的，但是，现在平衡鞍点存在与否却远非显而易见的 事情。 

正如前面所举的例子中那样，局中人 X 可以选择任意的混合策 
略 xzOci , …， X , ) „这个策略永远是一个概率 向量： 各 Xi 均 

为非负量，而且它们的和等于1,这些分量代表着™个不同纯策略 
的频率，井且在每一局中，局中人 X 通过某种随机手段——为产生 
频率为的策略 i 所建立的手段——对这些策略 m 行选择，与此同 
时，局中人 y 应当采取类似的决 策:他 选取满足条件％>0和之 y f = 
1的行向量 y =( h , y .) r 该向量即代表着其混合策略 

的频率。 

预言一局的结果是不可能的，因为它是随 机的， 然而，平均起 
来，局中人 x 出示第/个策略，与 Y 出示第 i 个策略的组合将有概率 
«，.，即两个单个的概率的乘积。如果实现了这一组合，那么贏得 
即为于是.对于 局中人 X 从该特定组合的贏得期望值为 
而一局总的贏得期望值为之了我们再一次强调指出，任一 
或所有元素均可为负，对 X 和对 Y 规则相同，并且决定谁胜谁负 
的乃是 ay 各 元素. 
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期^值可比 CM 迪 成則坪 形式， W 为二项和 
y t $ ^ yAx , : a - JA 山圮阵的乘汰谀姒 i 沖」 的： 



局中人 X认 图极大化，而 Ki 屮人 Y 试内极小化的正始 lfcyAx. 

例2 假设 A 楚一个 U 阶单位矩阵 ； A - i , 此时，蔵褂的期4! 

值等于 Wy = x i y i + ■ ■. + x , y „ ,这一对策的思想不艰闸明 t 记中入 
X 设法作与 Y —#的选抒 -, 因为在这种惜况 K , 他得到£1,,= 1元， 
与此同时，局中人 Y 设法作 W 外一种选择，以免砧屮人 X 得胜，即 
Y 不作任河支彳 . h 单位 矩阵对角线外之诸元素均为零。如果 X 选抒 
第 f 列，那么 F 就选择另外笫若局屮人 X 选栉某一个策赂比任 
何其它策略更为经常，那么 Y 就有更多的机会避免败北=.所以 S 优 
策略将足 〆 = (】/«，】/«，.*., 1 /« ) ,同 ffi ， 奸中人 Y 不可能特别 
强调任何一个确定的策略，否则， X 必将发规这点并从而夺符优势， 
因此，其最优选择也是等概率的， II 这概率之和为1,即，= (〖/»« 
1/«, 1/«) . 两个周中人均选择策略 i 的概率等于（1/«) 2 ， 

所有这样的组合的和即为 x 所获窳得的期 塑位 •总的对 MVMx 
(1/«尸或 l / n , 这可通过计 IT 來 址实： 



= (4r) + 〜 d) 
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随若数增大，尚… W 将得到更多避免失畋的机会 . 

注意，对称矩阵4=/并未保证此对 策对两 个局中人是公正的。 
实坏上，真实情况恰恰相反：当矩阵非对称， A r =-A ^, 对策将 
是完全公平的。这种矩阵使两尚屮 人处于 等同的条件之下，因为在 
局中人 Y 选择策略 f 时，局中人X选抒策略/,会使局中人X麻得 cw, 而 
局中人 Y 选抒策略/和 M 中人X选抒策略£吋^就会使局中人获同样的 
贏得(因为最优策略 V和;^应当一样，并且贏得 
的期望值应等于， AV= 0 ,在 /T = —A 吋，对策的值等于零. 



对 策是： 两局中人X和 Y 均选择1至 3 之间的某一数。选取较小数 
者, 竄得1元（若局中人X选取数2 , V选取的3 ,则X贏得为〜 3 = 
1元.如杲他们选取同样的数，那么，这种情况将位于矩阵的主对 
角线上，即无人取胜。显然，仟何一个局中人都不会选取 2 和 3 , 
否则另一个局中人即可选择更小的数于是纯策略/ =y* = (l, 
0, 0> 是最优的，两个局中人每一次都选择1且其对策的值为： 
y*Ax , =a l ! = 0 „ 

应当指出，使所有决策保持不变的矩阵并菲单位矩阵，而是每 
个元素 〜均为 1的矩阵 E。 五的倍数加到支 付矩阵 A 上: 4— 只 
不过意味着，局中人X每一局将裔得附加的 a 对策的值增加《,但 
，和，依旧不变 s 

现在，我们回到一般理论上来，首先让我们置身于局中人 X 的 
位置。 假设他选取混合策略，…， 3 C„ ) „这时局中人 Y 将逐 
漸认淸这个策略并进而选择己的策略，以使损失 yAx 最小.结果 ： 
局中人 X ■获 mitiyAA：, 有经验的局中人 X —定 会使这个极小值极大化 
的某向* X •(这可能不是唯一的； L 作这种选择，局中人 X 可以确信 
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其赢得不会小于 

minyA'；* =max minyAx. (14) 

y x y 

他指出嬴得更多也屉不可能的。 

H 屮人 YUi 示相反的策略》在其任总混含策略 y 的情况下，他 
应当期望周屮人X找一个极大化 yAV 的向所以 Y 应当选取使 
此极大浪极小化，并且保证其损央绝不大于 

maxy*Ax = min max yAx, (15) 

x y x 

的混合策简中人 Y 也想不出更好的 主意。 

但愿诸位 E 经领悟到，如果所耵这些都是对的，结果将是怎样 
的.我们想使咼中人X保证贏得覺;（14)与局中人 Y 的损央 S(i5) 相 
一致。此时混合策略V和，将产生鞍点平衡 a 于是对策获解：局屮 
人X仅在离开策略 y 的条件下才失利，局中人 Y 只在离开策略，时 
才失利 s 此鞍点的存在 是冯。 诺伊曼证明的.被 称为： 极小极大 
定理： 

8M 对于任意的 mxra 阶矩阵 A 听苻混合策略的极小极大值等于 
极大极小值： 

max min yAx = min max yAx. . ( 16 ) 

x y y x 

此童为对策的值。如果，左部在V点迖到最大，而右部在点，达到 
最小，那么，这些策略便是最优的„它们产生一个双方谁都不愿背 
离的鞍点。 

对所有X和 y 有 

y r Ax^ y 'Ax'^yAx\ (17) 

在鞍点，向量 /无论 如何都不会比其它任何向量X来得坏（因 
为同理，第二个局中人，如果背离策略 〆 ，他 
就只有損失更甚. 


* 这个向 ft 可能与—致，若说中人 rs 取不合理的谁略，则叉珂能得到比公 
式<14)对其保 证的还 要多，在对策!6中， snis 设局中人均为老手， 
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正如在对偶理论中那样，我们坷以从单侧不等式 
max mia^min max 

开始。这充其量只不过是 v 的定义 CH ) 和，的定义 （15) 的 组合： 

max min yAx~min yAx*^y*Ax*^msixy*Ax 
x y y x 

— mia max yAx . - (18) 

y x 

这只不过是说，若局中人 X 能保证至少赢得《,而局中人 Y 能保证失 
利不超过良则一定有良冯*诺伊曼的功绩在于他证明了 
卢.这便是极小极大定理，该定理窓味着，在整个式 （18) 中，等式 
都是应该成 立的， 而鞍点性质 （1?), 在练习 8.4.6 中，便由此而 
来。 


这里，最引人注意的是，在证明中，引用了和线性规划中完全 
相网的数#方法 t 从直观上讲，这几乎是显而易见的：局中人 X 和 
Y 扮演着“対偶"的角色，并且两者均从概率向量之 1 ‘容许集”； e , 
>0 , ^=3. 5 y ,= l 中选琅各自的策略。最使人惊奇的 

是，甚至 von Neumann 本人也未立即觉察到两个理论是一致的， 
他是在 〗928 年证明了极小极大定理的，线性规划出现于1947年之 
前, Gale , Kuhn 和 Tucker 于1951年首先发表了对偁定理的证明， 
而这项证明正是以 voti Neumann 的成果力基础的.他们的证明实 
际上恰好与 Dantzig 演示线性规划和矩阵对策的等效性的文章出现 
在同一卷中，所以，我们从对偁性中推导极小极大定理.乃是在颠 
倒历史发展的顒序。 

概栝地讲，极小极大定理可证明如下 n 令& = (1,…，1尸为 
个分量均为1的列向量， C =( I , …，〖 ） 为》个分董为 i 的行向量， 
让我们来研究 ■- 下对偶线性规划问题 

(P)mincx ( D )max yb 

条件条件 yA<c 

〜 >0, y>0. 
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为应 阳、:}巧 迚论，我 n 应当确肖，两 n 遅部足可行的，所以 f 在必 
要旳惜况 v , 我们把矩阵八的各元素均加一^枰大小的数 a 。这不 
会改企段优策哜， 闪为 时―■项文付增如 a 而 Miti maxTSMaxmin 
也同样增加《。对增加后的矩阵来说(:我们仍旧 E 作 A ) ,向懂3» = 
= 0为对偶问以为碎许向 M , 仟 . S 足够大3向货 X ,将足原问题的 

现在， 由线 性规划的对偶定理可知，存在有向 fiV ■和 〆 ，它们 
满足等式 cx * = ：^ b 。 山于 b 和 C 郡是由1姐成的，故得 = 

矜这两个和数均等于 t? ,则除以 t?;a f 这些和就会都变成1,结果 
混合策略 XV0 和 y’/0 在对策论中是最优的。对任何其它混合策 
略邠 ly 来说， AV>i) 就隐含着 3^x*>yb=l, 且;/力<(=隐含若， 
Ax<cx=l 的意思，这里公主要的一点是， Ul 果我 
们将不等式除以0 ,这就是说，只屮人X 战胜对方策略的 H 
得不会超1 / 0 ,局屮人 y 负 T 对方策略^ V G 的损失不会小于1 / 0 . 
闲此， 这就是耍选敢的策略，故 MinmaxsMaxnhu^l/f? , 

我们完成了对策论的讲妍^ f 「 l 楚，我们却尚未凹笞这样一个最 
Q 然的问题：从通常的意义 h 讲，什么对策真正等价于我们所讲的 
"矩阵对策 ”呢？ 象梆，桥脾.扑克之类的游戏是杏在冯 • 诺伊曼 
的理论范畴之中？ 

在笔者看来，象棋不 MT 此范畴，其理由有二。第 一 ， 白方的 
策略不仅仅是由开始走子构成，它应包括对黑方的第一步 f 然后对 
其第二歩如何做出反应的决策，如此等等.一直到一盘棋结束。每 
- -步棋都耵今种走法，故 X 可有数以十 f 乙计的纯策略供其选择，其 
对方情况亦兑如此，因此，洩部大得异乎寻常。此外，这里机 
会是不起什么作用 的. 假如白方能找到取肚之策略，或黑方能找到 
平局的策略 （ 这些策略均从未灯过），则象棋游戏的魅力就会大为 
逊色 1' 

与象横不同，桥牌确3包含某砖诡计要素在内，键如，包含对 
某种计谋耍做什么爭怙的 决策。 因此，桥牌被认为是矩阵对策 . 遗 
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榼的是，又 足大得 异乎寻常的两个但或许对对策的某些 
单个的成分，可以进彳 ra 优策略: Vj 分析。 

另一方面， - * 则不足矩阵对策（至少在娱乐场所是这 
样），因为娱乐场遵循固定的规则。当笔者的友人 Eel Thorp (艾 
德•索普）发现并发表了某种制胜的策略迫使 Thorp 在 L as 
Vegas (拉斯维格斯）改变规则——吋，他的方法完全取决于对已 
绖公开的牌的跟踪^偶然性的要崇在这 m 朵没存 的。 因此，不存 
在混合策略 JC *, 

还布如下所述的所谓犯 人的两 种抉择 闷題。两个同案犯被捕，撰 
在他 ri 每人面前的都有两种抉杼：他若坦白交待罪行，则将 获释， 
但条件是其同伙拒不交待，并被判处10年徙刑 D 如艰两个均 坦白交 
待，则他们将分別被判处 6 年徒刑。 但若 二人均拒不坦 fl 交待，那 
么，他们二人将被判处 2 年徒刑，囚为已被査证的1卩行不尤严重。在 
这种情况下，怎 么办？ 坦白交待的愿望很强烈，似如果他们互相依 
赖，坚不吐实，则其困境多少会有所减轻。 此 对策具有非零 和：两 
晋都苽能 受损。 

普通对策，同时也是矩阵对策的 最好例 子耍算是扑克游戏了 a 
这 111 虚张声势乃是高明牌技的一个粮彩环节，并且为了效果更好， 
这种虚张声势必须是不可预劂的„这就 s 说，虛张声势的决策应该 
是随机做出的 （ 这里我们接受对策论 S 基本的假设-对方 是一个 
老手），否则 f 对方就会发现规律，并从而得胜。虚张声势成功和 
失败的几舉将取决于 已经公 开的牌与赌注的大小，已经下过的以及 
将要下的。实际上，方案的数0又是多到异乎寻常的地步，使得寻 
找 a 泷策略，是一件完全不现实的事怡，然而，扑克游戏的髙明牌 
手一定宠够达到非常接近于 y 的策略 • 此策略在大大简化对策的条 
件下， s 可以准确地计算出来的： 

H 中人 X 在发牌时得 J 或 fc 的机会均等，11>则总是得到0。在 
看了 d 己手中的牌之 后, x 或赴放牌认输以前所下赌注1元，或是爯 

* _种氓牌沉 U — 依 if 荇注。 
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增加赌注 2 元。 若 x 加赌注，则 Y 或可耽牌认彳原下的1元 
赌注，或控也 卩1 追加2元赌注，并摊牌费 X 是否虚张声势。在这种 
情况下，牌大者便嬴得对方所赌的3元。 

甚至在这样简单的对策中，可能的-纯 策略” 也不是那么显而 
易见的，但是写出这些纯策略，却是颇为冇益的。 Y 只有两 祌可能 
性，因为它只是对 X 的动作做出反应： 

1) 若 X 下赌注，则^放牌认输， 

2 )若1 下赌注，则 y 响应且试图贏得3元， 

X 有四种策略，有些合理，有些则 不然： 

1) 手中冇 if 则加赌注2元，打 J 则收牌认输， 

2 ) 不论在哪种情況下，均加赌注(:虚张声势）， 

3) 不论在哪种情况下，均放牌认输1元， 

4 ) 手中有 K , 放牌认输，冇 J , 则加赌注。 

需耐心计算支付 矩阵： 

a tl =0 f 因为 X 在半数情况下得人输1元；得 if 获胜 （ Y 放牌 
认 输）. 

a 2 ! = 1 ,因为 X 半数情况输1元，半数情况贏3元 （ 尽管 X 手 
中，但 Y 仍企图电败他 ） 。 

1 ,因为 X 下豬注，丽 Y 放牌认 输 （ 虚张声势得逞 ） a 
a 2 *= 0 ,因为 X 有 K , 赢3元：有厂输 3 元（虛张声势失; 
败）. 

采用第三种策略，总要输1元，第四种策略也是不成功的.结果4 
将为 

A=f ° 1 一 1 。 1. 

[ 1 0-1-2 j 

在这种对策中，局中人 X 的最优策略乃是在半数情况下虚张声势， 
/ = (1/2, 1/2, 0, 0) ,而处亍被功地位的局中人 Y 必须选择 〆 = 
(1/2, 1/2) 。对策之值等于5角， 

以教授读者如何进行简化方案的扑克对策，这是结束本书的一 
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狞 ) 方式， U 泣笕 ff 认为泛朵扑克 ik 应在 H 性代苡及儿应 m 巾 
々*-‘:地位. 

练习 S .5.8 求圯阵 

,4 :: ：] 

L 0 0 3 J ' 

的.、* )%!对策伉 a 

^^3-5.9 试计 g 

t:: i n in.r ； x (YiW—AyO 

r,>o d 
3 ! 1 -!■ 3 j 2 '-■" 1 = 

练习 S .5.10 C (1 S ) 的行一不守式诈 ii ； 解释 s 缒之，在 15 小扒 

:; d 上它扪澄 :式之以文士:记式导出鞍点不 3 式 （ n ), 
练习3, 5.13 求以 芘扑 克对策屮，.'：*=(1/2, 1/2, 0, 0 ) ?!i 
>■*-=(1/-. I / 2 )为 K 优泣略。为此，计兑出并验 E 鞍 
点条 rK;vh 

逛习 S.5. 12 Jiiuiig£iili^ r ■^可 能存在一种永远鹿黒方获胜 
的象扔 笫咯？ 窀者 UU_(, 只冇在闷只屮人每次可连线走两步的情况 
T, 这一点才是可货 d 假使黒方 几有 获胜的策赂，则白可将马跳 
出弁以网，然后效法获胜策略，结果就会方均获胜 .U 徉一狞 
不可能出況的結果 》 

练习 8.5. 13如挑选一个系 3,- 与此冈叫 Y 预溉此数是奇数 
或饨决定 B 戍锫1夬元，谁占这狂？ 
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附录 A 

线性变换，矩阵和基变换 

设 A 足一个 mxn 矩阵，％是一个《维向] WMx 在 fi •中，而 Iv 
在 JT" 屮.映:^为 /U 的映射描述了一个由空间 R_ 到 R" 中的变换，而 
且矩阵乘法的法则 S 接导出它的最重要的 性质： 对任何向景 
以及任何纯量&和 c, 

A(bx+cy) =b(Ax) +c(Ay) ( 1 ) 

—个具有性质 O )的变换称为是线性的，于是每个矩阵导出一个 
线性变换， 

在这个附彔中我们的目标是研究线性变换的其它例子以及试图 
冏时解释所有这样的变换.这个目标是研究线性代数的一种基本途 
径： 从如（】）这样的一个性质出发，演化出它的种种推论，这当然 
比本书中所采取的途径要抽象的多.因此我们还遑宁可直接由矩阵 
开始。但是现在是到了超出联立线性方程组 4x=b, 以及它们的系 
数矩阵这个范围而去寻求线性变换其他例子的时候了， 

首先，我们要记住确实存在与 RV C •不同的向量空间，一个向 
:域空间所要求的全部东西就是某种适当的产生组合 bx+cy 的方法， 
它确保每个这样的组合仍在这个空间之中. 

例1令 P- 是所有次数<«的多项式 p=a„ + (M+ … + 的 
空间„这些多项式是 "向量 H ,而两个这样的向量之和当然也在 P, 
中.特殊的多项式 P。^ 1 , Pl =I, p ,= t * 提供了这个空间的 
— 组基，从而它的维数是》+ 1 , 

例2给定一个常系数《阶线性微分方程 

—-+cj + … + c,w = 0 (2 〉 
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它的斛拘成一个向 a 空问又。对任何两个解 w 和〜叠加法 m 
保证十 CU 也是一个 解： 换句话说，解可以加在一起和用纯童去 
乘„ R 简单的解是纯指数解 w = e 〜 ——或者如果2是特征方程的二 
重根还冇 feAf , 若是三重根还有等等，一共冇《个这种特殊类 
型个解，它们构成所有解的空间的一 组基' 

例3 令 H 是笫 M 3 页上所描述的希尔伯特空间，它包含所有向 
…）它苻无限多个分量，但有有限长度： 

II v li 1： = 1> 1 2 + 〜 2 + 1^ +… 

它当然没 W 有限某^— H 是无限维的——因力我们需要无限多个信 
E 来决定 

用这里列举的向置空间，很容易解释线性变换的想法.要记 
住：本质的性质是线性性；变换 A 可以把一个向量空间映入任何其 
他的向 量空间 （或者它本身），但是它必须满足 AO ：+ C jO = b (> u > 
+ c (^ ) „ 

例4 在 n 次多项式空间上，令4是微分 算子： A ^ d / dt . 于是 
对任何 U 项式 P , 

Ap=4(fl(j +£iit + … + a*t’）=ai + 2a 2 t+ …+ … rea/ -1 ( 3 ) 
我们可以把4想成是 N 到较小的空间户,_ 1 或 者仄到 P , 内的线性变 
换。在前一情形中变换是到上的， P .- i 中每个多顼式可以由 P , 
中一个适当的多项式通过微分而得出。在后一情形屮，这并非总是 
成立的，因为存在这样的 P ■中的多项式（像 f ) 它决不会在 (3) 式 
的右边 出现： 我们刚刚找到的“微分矩阵将不是可逆的. 

例5这一次考虑一个作用在 Pit 上的算子。令4是积分笄 
子： 

A(a。+ ait+ ,i *+c._if*~ i ) 

=a 0 f + ai-^— + …+ (4> 


• S 系® cl 依赖于 f 时， . S , P 5 然是一个 n 维向童空间，伹是它的一组基，甚至此£间 
的一个元索都是很难求出的》 
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这定义了 一个由 p ,- i 到 较大空间的一个变換，而且它是线性的： 

J (bp(t) + cii(t)dt^bj p(t)dt+c^ cj(Odt 

积分足否足造出 P , 中的一切多项式，使得映射是映上 的昵？ 不是的， 
何它是1_1的：不同的多项式有不同的积分。 

例6 S , 是微 分方程 （ 2 ) 的所有解的空间。设 X 是 K " 中任#向 
量，它的分量是解《的始值：当 f =0 时 

«(0)=^ lt -^(0)^x if ― =x. 

由这些初値，我扪选取出此微分方程一个特解。 R •中的 x 与 V 中的 
H 之间的这种对应是这两个空间间的一个绞性 变換； 因为一个线性 
方程的解线性地依赖于它的始值，这个变换是映上的且是1 一 I 
的： 每个解可以由适当的 始疽而 得出，不同的始值必定造出不同的 
解来.于基描述这个变换的 n X «矩阵是可逆的. 

‘例7令 A 是 Hilb ? rt >: 间上的左移位：- 

^ w = A ( y ! , …） 

这个移位是线性的而且足映上钓；我们可以适当选取一个输入来造 
出任何向 K 作为输出。闲为我们 坷以任 意选取这个算子不是 
1 — 】 的； h 在榆出中不出现，它被完全移掉了，从而有一维的核 

A(y[ , 0, 0, ) =(0, c, ■•- ) . 

在这些例子中，线性性质并不引起人们验证它的兴趣，如果它 
存在的话，是决不可能被忽略的。先论如何,_它是一个变痪麁具有 
的最重要的性质' 而且它卩:!然地把我们引回到矩阵上来.事实上， 
在这个附泶中我们主 SH 的是证明毎个浅性变换可以用一个矩阵 
来 表话。 这个淚萊矩阵将汉依赖于我们对空间的基的选取，它娃依 
照下列法则米构 造的： 

设*间 V 冇一狙葙〜，…， y ,, 空间 W 有一组基 Wl , w 2 , 
每个由 V 到 VV 的线性变换 A 用一个 m X n 矩阵 （ A 〕 采表示 . 

• a 性火是处在箄二位的 - 
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它的元素^由用 A 作用在 ^ 上来决 定， 而且这个结果表示为 w 的线 
性组含： 


Avj ^ ^ ajw , /=1, ■**, » 

，■ _ t 

换句话说，这个矩阵的第丨列由考察这个变换如何作用在基向 
量~来确定， 

例 8 设 A 是积分筧子，以特殊多项式1 , P ,…作为一 
组基：〜和 Wi 取为0-_。为了计算矩阵 〔A〕， 我们来观察 A 怎样作 
闬在上： 






在矩阵 的第/ 列上，仅有的非零元素是如果 V冇维数 rt 
VK 将有维数 m=5, m 且 5 X 4 矩阵是 

( 0 0 0 0 、 



0 0 
女 0 
0 含 
0 0 


0 

0 



假定我们要积分则我们把 V 及示为 
2t+8t 3 - =0v { +2y a + 0y 3 +8v 4 
用 A 乘这些系数 


或 J^H*8i 3 =w； 1 + 2w s = f !1 + 2t 1 


2 . 


例3设 A 是傲分算子，将^映入较小的空间 fV !, 取相同的 
雄， A 在 A 上的作用怜是 
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Av t = ~-ti ~ 1 = (j— i)fi -! 1 = (y— l)wi_i 

于是 ( A 〕 的第 / 个列仍然只有一个非零元素，它等于〗 一 厂并出现在 
第 i =/ 一 1行上_ 4 X 5的情形是 ^ 

0 1 0 0 0 ' 

_ 0 0 2 0 0 

A ~ 0 0 0 3 0 

, 0 0 0 0 4 , 

注记我们把微分和积分看成是逆运算。或者至少积分后再微 
分将得出原来的函数，第二个矩阵是第一个矩阵是左逆矩阵.上述 
雄列的两个矩阵的乘积是一个4 X 4单位矩阵.但是一个长方形矩 
阵不可能有双边逆 矩阵。 而且事实上另一个次序的乘积不是单位矩 
砗. 

/ 0 0 0 0 0 \ 

0 10 0 0 
(八；1积分(：>1〕*分= 0 0 10 0 

0 0 0 1 0 

0 0 0 0 1 > 

在左上角的零元索对应着下列 事实： 从一个常值函数出发，微分后 
再积分得出零， > 

供10表示在希尔伯特空间上左移位的矩阵是无限大的，伹是 
此外它没有什么特 别的： 



且 〔 A 〕 


剩下的事情是证明我们构造这个矩阵的一般法则（5> ^并证 


明 〔A〕 包含了它所表萊的线性变换的全部信息.换句话说，知道了 
V和IV所选取的基.而且知道了 （A〕 我们将能够重新构造出 A 在空 

间 v 的任一向 i A 〜上的怍用。 

1 

如果向量X给 Uit< 用基心 ，…，\来表乐的系数，则向量7 =〔為） 
x 给出八〃用％，…， w, 丧示的系数，子是 A 在任何V上的作用用矩 


阵乘法重新 表出: 


Au= 2 y* w * = 2 C 6 ) 

i * 1 1 * i 

在这个证明中，我们必须依赖于 A 的线性性 ： 对任何= 

= 二2 XjAVj 
L 1 

用衷达式 （5 ) 代入 Aq , 我们证明了公式 （6), 给出 A 在一组基中 
每个元素上的作用，线性性就足以确定 A 在此空间的其它每个元素 
上的作用。 

关于线性变换与矩阵的关系还有一点。如杲 A 和 B 是线性变换， 
例如由 V 到 W 和由 W 到 Z , 则它们的积 SA 是由 V 到 Z 的一个变换；它 
由 V 中的 y 开始，经过 讲中的 Au , 最后以 Z 中的结束。 
最后这个方程很像13页中的法则 （7), 它是矩阵乘法的基础。于是 
非常然的是矩阵乘法正确反映了线性变换的这个 乘积： 

如果矩阵 U 〕 和 〔 B 〕 在 V 的基 { M , 胃的基 { wj 和2：的基彳 Zi } 下 
表示浅性变换 A 和 S , 则这两个矩阵的乘积丧示了复合变换 BA : 

CBA ] = ( B ) CA ) (7) 
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几乎不耑贾说明这个乘仍赶一个浅性变换一虽然它者 
起来象架种二次的贵。可能会猜想既然 AO)=x_B.B(x)= X ,那么 
乘积应与 V有关，但是单位的平方是单位： B(A(x)) 仍然是I 
练习 A.1 求一个 3X5 矩阵，它衷眾把 P 4 _ 映入 h (四次多项式 
映入二次多项式）的二阶导敦 dV<it 2 „ 

练习 A. 2对例10中的左移泣，证明右移位 〔A〕 f 是仅有的单侧 
逆矩阵^ 〔A1 的行是正交的，奵是它的列不是这样 a 対 rt_xn 矩阵这 
是不可能的 . • 

练习 A .3 设 V=W= 2 X 2矩阵的空间 ^ 它的II 是、％ ' 

: ：)■ 

0 0 ] 

1 0 j ， 

考虑把每个矩阵映为它的转置矩阵的变换 A , 用法则 （5 >求4 X 4 
矩阵 CAX 为什么 〔 A 〕 s ; f ? 

«3 A .4 在第二章的末尾，我们讨论了用固定的矩阵 pi = j 

乘以上述空间 V 中每个元素的变換.求表示 V 上这个变换的 4 . X 4 
矩阵。 

鎵习 A ，5 设微分方程 （ 2 ) 就是 dV / d f *= 0* 取定一组基.，描 
述所_解的空间 S ,. 

,*S^ Av 6 设在 y 平面上，变换<4把每个向量映为它关于;娜 | 
的镜像而 k 换树 g 每个向 * 映为它关于原点的对称点 • 使用标准 
基向贵 A 和 e E , 求矩阵 〔A),〔B〕 和〔04〕。弁描述在一个向量上先 
应用4再应思 S 的作用. 

基变換 

设〜，…， u„?nw,, u',!i 同一向空间的两组基，而且 
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个; Wb 分別 ni 何占示 为： 


^ ^ 2 2 ，训 ( 8 ) 

1 1 

邡么这两讯系数之间有什么关系呢？ 

ia 果这两组基之间山 F 式联系 2 iiJ%v - 则系数 

I - I 

fDF ] 详的系但用不词灼方式联系羞： 

>'.=>] s t/ x, ( 0 ) 

^ ■ 1 

USA 叼证法赶验证新系满足圯得它们 
汰阽上是 t * 的展开式中的 系数： 

4 q n 

2 x j ^ j = 2 芝印 ㈣ 等于 



2 ^ vv ' = 2 2 s ^ x ^ v * 

i - 1 r *1 r ^ 1 

基变换也用某种方式涉及矩阵理论，这是一种相当精巧但又绝 
对足 S 本的方法 （ 它也常常被说成是变跫替换，从数学上看实际上 
是一回事），假定我们取定一个由某个向量空间到自身的线性变换 
A r 而且选取一组 Sus , …， iv ,——- 它将用于 W 和 V = W 两者，则 
山法则 Aw 产及 I , jW ,, 方程 U ) 造出一个相应的矩阵 〔 A ) B 。现在 
我们要问.对于同一个线性变换 A ,如果我们对这个空间，也就逛 
谠，对 V 和砣，使—组基〜，…， y ,, 它的矩眸是怎样的？为 
了求出 A 的这个新的衣示，我们令 S 是描述 S 变换的矩阵。如上 G 
i £ f — Ss , j ^ v ls . 

^ 喵先关于基 IV , 抅适 

h 少阵 〔 a 〕.. n );: 下联系 

CAL = S - HA) 1； S ( jo ) 



换句话说，基变换 导出表 萊矩阵的一个相似变换. 

山任 意向量《 =2^0出发， SX 给出 它关 THv 的系数，于是 
〔/ i 〕„ sx 给出如关于 W 的系数肩 ii 最终 s ' UAhsx 给出 Aa 关于原 
来的基 U 的系数。因为这恰恰是确定〔4〕„的性质，因此（〖0)式的两 
边一定相等。 

例1彳设 A 是如下变换，它将任 M 向量 (A y ) 映为它哭于 
丑线 的镜象 ( y , 关于标准基 = 0) , w t = (o P 1), 相 

应的矩阵容易求出，因为 A 将 映为 而且将 w 2 映为它的 
婼阵是置换 

⑷ ，[: i ] 

假屯我们把平面旋转一下，使得新的基向量之一沿着 45 " 直线， 
w i =( 1 . 1 >，而另一个与其垂直 ， h =(— 1 , 1 ) •则 t » i 表为 
Wi+Wh 4 表为 一 "^+川；；， 

-[:■:] 

关于这组新基，变換 A 事实上简化了，因为〜在45°直 线上， 
它是它本身的镜象，从而 Ah = t ^ 労一个基向置〜 =(_ i , 1> 
正 好被翻 过来， A ^ e =-^„ 于是 



这个矩阵是对角的，因为基〜，〜由 A 的特征向量组成^这些特征 
向量出现在 •■基 变换 矩阵” S 的列上，所以正如第五章那样，它格 
A 对角化： ^ = CA)y = S - 1 CA)wS 

练习 A . 7如果口 1 为 [ ^垂立，而且 A 农示到过 w 的直线上的射 
影，矩阵 〔 A 〕, 是 什么？ 这个 （ 或任何其他的）射影矩阵的特征值萣 
什么？ 

练习 A .8 求一个矩阵，它的特征向最； ( 1 , 3) ,相应特 
征值为4以及 w = ( 2 , 0), 相应特征值为0 3 
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Jordan 标准艰 


给一个方阵 A , 我们要选取 M , 使得 M ^ AM 尽可能地接近于 
对角的。在最简单的情形中， A 有一个完全的特征向 H 组，而且它 
们成为 M 的列--一在另外的地方记为 S 的 Jordan 形 J = M _ 

--= A . 它完全由1 x 1块1=1组成，从而对角矩阵的 g 标完全迖 
^'1. 在更一般，更困难的情形中，某些特征向 S 丢失了从而对角化 
是不可能的.现在我们要谈及这种情況 5 
我们复述一下这个要证明的 定理： 

5 S 如果.矩阵有 S 个线性无关的特征向量，则它相似于一个 
Jordan 标准形矩阵 

J=M~ X AM 

其中块 

人=\ 

- 、.‘ V 

这样的 Jordan 形矩阵的例子是 




二重特征值 A = 8只有一个特征向量，它沿第一个坐标方向6 = 
(1, 0, 0, 0, oy ； 结果 A =8 只出现在一个块1中 g 三重特 
征值 A = 0有两个特征向 Sh 和〜，它们对应葑两个 Iordan 块和 
夂。 

关键的问题在丁如个 5 X5 矩阵，在什么条件下 
它的 Jordan 标准形与 J 相同？ 何时存在一个 M ,使得 1 AM= J ? 
作为第一步的要求，任何相似矩阵 A 必须辽有同样的特征值8， 
3, 0, 0, 但这远不是充分的 一 -n 冇这些特征值的对角矩 

阵与 J 不相似一从而我们的问题涉及特征向8。 

为回答这个问题，我们把关系式 J 改写为一种较简 
单的形式 = 




把此乘法按一次乘一列写出 

- A.X | = Sai | 及 A^yi (!_) 

及 Ax^QXt + y .3 A^ s = CU 5 (2) 

现往我们可以看出关 TA 的条^它与 •； 一祥必定有三个真正的特 
征向量 . 一个有特征值;1 = 8,它将位 TAf 的第一列，就像它位于 
S 的笫一列一样： ： H: 佘两个，分别记为〜和〜，位 T' 
M 的笫三列和笫五列； A^,= Av 5 = 0 „ STr, 必定还冇两'个特殊 


0 1 
0 0 



的向量， - 广义特征 A Hh 和〜。 我们将 X ^视为 属于一个向置 
链，它由心打-央而且由方程 （ 】 ）所描述.事实上. A 是这个链中仅 
有的另一个向 a , 而 a 对应的块 j , s 二阶的 。 方程 （2) 描述了两个不 
Rtfe 链,在其中一个中 A 跟在〜的后面 > 而在另一个中只有〜一个， 
块 Js 和 Ja 分别是2 >： 2和1 X I 的， 

寻求 A 的 Jordan 标准柩问题变成力寻求以特征向童为首的这些 
.向量链的问题，对每个 i , 

或者 A >：, = 人: *：, 或哲儿^ =灰\ + (3 ) 

向是 & K 为 M 的列，而且每个链造出一个单独的块 J , 本质上看， 
我们 必须旺 明对每个矩阵 A ,这些链可以怎样被造 出来， 于是若这 
裡链满足特定的方程 （ 1 ) 和 （ 2 ) ,则 J 将是 A 的 Iordan 标准形. 

我认为发表在奠斯科大学学报第，26卷上的 Filippov 的想法使得 
这种构造法尽可能地清楚又简单了。它使用数学归纳法，由如下事 
实开始 ： 每个 1X1 矩阵也是它的 Jordan 掭准形了.我们可以假设 
这个结构对于阶数小于》的所有矩阵已建立起来* 一一 这就是•归纳 
假设"——然后解释对于 n 阶矩阵的各个步骤 5 我们希望坶对 A 的 
—般的说明与対于 J 的特殊的说明结合起来，于是我们从一开始就 
设想它们共有五个相同的特征值. 

在 Filippov 的算法中有三个歩骤 

步骤1因为特征值之 一*；! =0 , 矩阵 A 是奇异的，而且它 
的列空间有维数只看这个狡小的空间，归纳假设保证了 
Jordan 形的存在——在列兗间中一定存在 r 个无关的向量 w ; 使得 
或者或哲 + w … 1 (4 ) 

在例子 A = J 中，秩是 r = 3 ,而且列空问是由 ei , e s 和 e 3 张 
成，它们将作为向置 w ;, 得出 

Jvv^gw,, Jvv,-=3Wn , J\V 3 = 0\V 3 , ( 5 ) 

步骤 2 设 A 的核和列空间有一个 p 维的交.当然,核中的毎 
个向量是一个相应 P A = 0的持证向 K。 于是在步骤I中必定冇 p 
个链，它们由这个特征值开始，而且我们感兴趣的是这样的 w ; ，它 
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在这些链的末 端^ 这样 p Hofi 中的鉍一个部在列向量中，所以 
每一个都足八的列的一个 组合： 对丁•某个 y ,_，= ^ 

在泌=/的例子巾，核包含 e s 和 e B 。 它与列空间之交由 e 3 张 
成；于是 P = 1 ,在方裎 （ 5 )中打一个对应 A = 0的链， e 3 位于这 
个涟的末尾 （ 也是位 T 开始），而且 e 3 = Jc 4 , 于楚 y = e , 0 

步骤3 核总赴冇维数 m — r a 于是和它与列空问之交的 P 维 
子空间无哭，它必定包含 u - r -P 个附加的基向量 I 它们位于此 
交之外，在 M 子中 H - r-p = 5- 3- I = I , 而且化零向是 
^ =6与列空间无关，它将是产生1 X 1块 /,=( 0 > 的向 ft Z 。 
现在我们把这搜步骤放在一起给出 Jordaa 定理： 
r 个向量 w %, P 个向量3\和 n ~ r - p 个向组成矩阵 A 的 
Jordan 链，这換向蛩是线性无关的。它们组成 M 的列向量组，而且 
•/ sATMM 是〗 ordaii 形矩阵， ' 

如果我们希望把这些向设重新编兮成 h ，…， jc ,, 而且使它们 
适合方程 （3) 的条件.那么 y . 应该直接写在得出它的 w ; 的后面，这 
就造出一个链，它相 应于人 =0»那些 h 放在最后面，每个2自己 
组成一个链，因为它在按中，所以相应的特征值是零，具有非零特 
征值的块在步骤1中已经选好 s A 哲零特征值的块在步骤2中加了 
-行一列，而步骤3给出1 X 1块 Je (0 )。 

剩下仅有要做的事情就是证明所有％, h 和 A 的集合是线性无 
芜的，于是我们假定它们的某个组合是零 s 

^C, W, + Sd.y, + Sg,Z f = 0 (6) 

用 A 去乘它们，弁对•^使用方程 （4) 

[ A ‘ w , , 

或 H - vd ^ y^O (7) 

A.Wi + W ,^! 

是特殊的 w ; , 它在相应 T 2,= 0的链的末庵，所以它们在第一 
个和式中不可能出现，因为 （ 7 ) 式是叫的朵个组合，而由归纳假设 
足线性无哭的-—它们在列空间中给出 lord a a 标准形-我们 
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断 -,: i ■坷个 忒必 定为军。冋到 （6), 这个式子成为 

它的左边在列空间之巾，因为 A 与此空间足无灾的，故每个心 -H 

ME^CiWi = 0 ,从而 Wi 的无关性得出 c ,= 0 , 

如果原来的 a 不是奇异的，这 n 个步骤将用于 v = a— d (常 
把 C 选取为使 A ' 奇异即可，从而它可以是 A 的住何一个特征值）， 
这个算法通过将叫，％和2,.造成链1将1变成它的 】 or ( kn 标准形 
M ~ t A , M = r s 而对 A (:：]；! 0 rdan 际准形免用相冏的链及相同的 M 即 

n ： 

= +cI = J 


这就证明了每个4郤柑似于某个: (ordan 形矩阵 •/ . 除 了这些块的排 
列次序以外，它相似于难 一 ~ 个这样的 J Atj_ 唯一的 Jordan 标 
准形.于是所有矩阵的集合被分解若干子集，它们有如下性 质：在 
冏 一 子集中的所有矩阵 冇相冏 的 Jord anfe 淮形，而且它们彼此山相 
似变换联系希，但楚在 不叼子 集中的两个矩砗都不相似。我们以此 
分类铕束本书。 

伊1 1 2 1 

A 叫0 0 1 I 

L o o o J 


它 IV 三茁 特征值 A - 0 n 这是加 7 页上的矩阵.其秩 r = 2 且只柯 
—个特征向蛩„在列空问中只汀一个涟!^ ,它彳 f !恰』 A 的后两 
列是 一 致的： 



核宂 仝位 T 列*间之内，而且它出％张成„于是在步骤2中 P 
1 , Mfty 山下列方稈给; B : 


Ay =^ W 2^~- 




0 
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后，链把.和 y 并成 W 






而 UL M~ l AM 




对于 d U /dt = A U 的应用々通常一忭，我们通过分离米郑效米简化 
这个问 m . 这种分离只有 当存在 一个完全的特征向 s 系时才是完企 
的。并耳 1*=:^ 在当前情形中最好,的变跫替涣是这就产 
生一个新的方程 Mdu/dt = AMu , ^ du / dt=Ju t 它已是尽•可能的简 
单了„在每个 JorcUn 块中，仅仅用対角线上方的 1' 把它 妇联 f 系起 
来。在上述例子中，只有一个块,. 


>0.1 0、 da/dt = b - a = a ^+ b / l t - b , c a t z /2： A - 

~^-= I 0 0 1 I U 或£?&./沒£=0或&= & o + c 0 t 

' 0 0 0 dd / dt—o . c = Co 


v 这个方程组由最后一个方 謔组开 始向上分解，而且每一步引入 
t 的一个新的幂（一个 I X I 块最高的骚为 t 1 - 1 ) ,在这个例子及 


较早的5 X 5的例子中， J 的指数函数楚 1 


e s, te u 0 0 0 \ 

0 e s, 0 0 0 

0 0 1 t 0 

0 0 0 1 O ' 

0 0.0 0 l u ,/. 

你可以看出 A & 和 c 的系数是怎样出现在第一个指数函数之中'的/ 
而在第二个例子中，你可以验证的全部五个■■特解 " a 
其中的三个是醃指数函数, » 3 =2*‘；^和《 5 =6。*心，它们 
和以前一样恰是由 a ' ■的三个特征向量组成 4 TO 它两个是广义特征 
向量： 



u 2 = e tl \ tx l + x z ') 及 w 4 = e °*( f ; e s + jc 4 ) (S ) 

的最一般的解是 CW1 + … + c 5 w 6 ,而且尚 t =0 时适合 
« 0 的组合仍是 
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u 0 =ClWl + … + c 5 w B 或 w (l = MC ■或者 C = M _1 t * 0 
这仅仅 _ 意味着 《 从而在原来的公式中的 5 和 

J 跋 MfUJ 所代替. 

练习 B . 1 证明： 基于链 ^^= 84 +*,, 方程（ 8 > 
中 的特解 W 满足 du/df = /tw 

练习 B.2 对上述矩阵 B, 使用 Mc^AT 1 来计算指数函数 e B ‘， 
并把它与幂级数 J + Bt + ((B0V2J >十…相比较. 
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练习题答案 

«_ 章 

1.2.1 «= 3 , v = \ , w == 0 , 主元素为 2, 1, - 5 . 

1.2.2 tt=l, v = 2 , W—Z, z =4 . 

1.2,3 换为 + 1 , 消去法就不能进行. 

1.2.4 消去时乘上去的数， 第一个为 I =c/a , 第二个为 d — 

I &. 

1.2.5 每交费1元计算机给做3,600,000次运算.因而交费1 
元理论上可解一个 rt slOJOO . OOOWsZSl 元的方 程组。 交费增到 
1000 倍， n 增到10倍. 

1.2.6 第二项 bc+ad 等于 ( fl + b)(c + d )-< Jc ~ M . 


■ 2.7 

.3,1 


• 422 - 


6 

4 


和〔26〕. 







0 - 1-2 
0 0—4 

1.3.7 £ A =〔0〕， 乘积中有 In 个元素，每个元素都要求进行 
m 次乘法. 

l . S .8£> A = 


1.3.9 ABC 是经过第1，2两步淸去之后所得结果, 





，雲 II 繾 i : 2 ， 3 三步淸 
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.4.6 这是因为 （150) s /3 与 （150) 2 的比为 50, 

… C 4 J 


r 4 s 

: 2 . 

■ =1 ^ 


],5.1 «= 2 , w =- 3 , w =4; 第二，三两行交换. 

1 .5.2 消去法得第二方程 Cw +0 u = b s — 3 b ! ，因而只在 = 
財该方程组才有解。 

[：：)— ^： ：1 


.5,3 


1/=- 


1.5. 


10 0. 

0 0 1 . 

^ 0 I 0 J 

1-5,5 两个都是奇异的.第一个无解，第二个的解为 
W =7 (或别的任何数） 6 
1,5.6 

— co s0 siaSl 
—— sin0 cosfl J 

1.5.9 E 乘 A 的作用是将第三行的 S 倍加到第一行上去 ； 将 
E 中的8换为一8 ,即为 f 、 

1 [ 卜叫 

ad —be — c d I" 


.5.7 A ~ x = A t 5 _1 -=5的 转置: 


.5.10 A 


2 
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9 — 36 30 -j 

1.5,11 A "36 】92 一 18oj . 

L 30—180 180 J 

1.5.12 直接消去时主元为 .001, 1000( 列选主元消去时主元 
为 1，一 1 • __ 

1.5.13 如果主元来得大，那么在消去它下方每—个元素时^ 
就应乘上一个比】小的数 • S X 3矩阵 

A=^j 一女 0 1 | 

女一 1 1 J 

就是一个满足题目要求条件的 矩阵。 


1.6.1 L = • • - D=1 ' U=LT - 


.6.2 低一阶的 2 X 2 矩阵也是对称的 
l_b z fa e—bc/a 1 
bc/a f—c 2 /a j* 


d _ 

c— 


数值法得到的解为 


I , Ua) — /S ^ P 一 f. 


8) 精确解为 （1, 0 


1)。 


第二章 

2.1,1 以整数为坐标点 ？ 平面上两根坐标轴上的点 • 
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2.1*2 是，否，否，是，是，是。 

2* J ,3 Ax ^ 0 , Ay -= 0 , WlA ( cx - i - dy )= 0 ； ^ 0 ,则解 

屮不包含％ = 0 ， 因而不能构成子空间 = 

-[:: H?O 不是梯阵. 

2.2.£ x -h y + z = 1 , x + y + z = o . 

r 1 0 0 if ! 2 0 ] T 

2 . 2,3 LU^- 0 1 0 0 1 ) 0 . 

*■ i o i ^ o o o o ^ 

U 的前两列有主元，因而 r = 另外两个变量 W 和 y 是自由 

的。通解是 


2w—y 、 

1 , 

( 2 、 


’ 一 i 

— w 

w 

H 

- 1 

i 

i 

+ y 

0 

0 

... y J 

f ! 

( 0 J 


, 1 ) 


\ - J \ v / ^ " J 

2.2.4 第二个变量是基本变量 （ 主元非零 ） ，变量 U ^ W 和 
y 是自 由的， 秩是1 , 通解是？: =( “ ， 一 4 w , w , y 尸。 b^o 
时，方程组只在 ^ — 21^= 0 时 可解， 那时 



2.2.5 w 是基本的， u 是自由的 ， r = ] , X = u n ]。 
—般地，该方程组有解的条件为心^ 0 , b ,= 4 b it t ) 4 = 0 ,解为 

… n ]+ m 。 

2.2.6 消去法得 》+2 u + 2 w = 1 , W =2 ,因而 t > 是自由的 




2.2.7 第 H 个方程要求 0 = b 3 — — 秩为 f * 

2,2.8 C = T , 

2.3 J Vi ——y 4 ― 0 9 
2.3.2 行向量是线性无关的. 

2.3.4 如果£； 1 (。 1 +1； ! )+(： ： 1 (1» 1 +»,)+03(1/! 1 +1^)=0,则 
( c : + c 2 ) i ) l + Cci + c 3 ) t>t + ( ci + Cj ) u a = 0 . 由1^, u ;， Wl 线性无 
关得 c ,+ c；t = 0 , o 1 + Cj = 0 , c t + c a = 0 . 由此得 Ci ^ c * =Ci = 
0 . 因而 Wi , w t , ^^是线性无关的. 

2.3.5 列空间是直线，是的倍数的全体 i 行空间也是直 
线，通过点 （1 f 2>. 

2.3.6 第二列，第三列是列空间的基底，最后一列等于 7( 第 
2 列）一（第 3 列）.第 一 ，第二两行是行空间的基底. 

2 * 3 - 7 [ iM - K 5]> ]? oj * 是该 空间的 —个基 

底。梯阵生成上三角矩阵， 



2.3.9 设 Oj =( l , 0, 0. 0 ),•**, Oi =(0 , 0 , 0 , I > 
为坐标向置 • 如果 界是过 （ 1 , 2 , 3 , 4 ) 的直线，则 h . Wt r 
h 中的任何一个都不属于 

2.3.10 零维， X = y = z = 0 ( —维， X ~< 1 , 0, 0 > — 
- y > z = o ; 二维， x=(i , o , o ), y =( o , l , o ), z 
= C - 1 , _ j , 0), 因为它们线性相关.所以它们不能生成整个 
空间* 

2-3.12 ( i ) 如果这 fc 个线性无关向量不构成一个基底 f 那么 

我们将可以给它增加线性无关向量，使得线性无关向量的个数趙过 
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feo 矛)丄它不是 m 我们搏可以去掉其屮 Jit 几个 ， S 
下的:少矛 
-.3.13 进公为 G, 

2.3.14 设〜， y £ , uJ [ n Vl , wn m 分別为 V 和妒的基底， 
那么这 六个向量必定线性相关，从而必定打它们的某个组&为零， 
2 c 此 + 2 d iWi = 0 ,或2<;凡=— 2 d , w “这是同属于两个子空间 
的向 ih 


2.4.1 不成立，它们的维钕相等。 

2.4.2 笫二列足货 ( A ) 的违底，第一行是资 （ A T ) 的丛底 s 向 
iiK - 2 , 1 ) r 生成左零空间，向 S ( 1 , 0 , 0 , o ) r , Co , 
— 4,1, 0) r , (0 , 0 , 0 , 1 r 逛.， ( A ) 的基底。 

-.4.3 筇二两列 h 的越欣，笫 一， 二两行是深 （ A 0 
的基底. | f ' JM ( J , 0，一 ：'生成左零空间，（一 1,0,0, 1 y , 
(2,-1, 1, 

2.4.4 列空间的所旮 ft 第四 个分 d 全部为審，行空间的所有 
的笫一个分 S 仝部为霉。孩! t !( 1 , 0,0, 0)、％成，左零空间 
til ( 0 , 0 f 0 , 1 r 生成。 

2.4.5 AB = 0 ,即15約江河一列的元素以 A 的任何一行的元 
素为系数，其组合都力零，！:;;而 B 功列的以 A 的任何一行的元萊为 
系致，其组合为忑。而屛打这祥 S 组 A 都必定在 f ( A ) 之中。 

2.4.6 如果维数不丙加上新的一列 b 而增加，则必 b 为 A 的 
列的组；>,闼而可解， 



AB- uCj^w) ^ 71 -- 4 (— 2 )[ 1 1 


0 


2 ] 
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2.4.10 y=〆 是一对一的，但它恒不为.零； Z=tgX 取任何 
值，但都不只取一次. 

2.4,11 如果对 A 存在性成立，则 r 的 m 列就应线性 

无关，如果唯一性对 A 成立，则■的列铳应生成 V 旳所有向®， 
2.4.12 A 没有左逆矩阵：下状的所有矩阵都是它的右逆矩阵 



2.5.1 \\ x || * = 21, || V || " = 18, x r y = 0 . 

2.5.2 ( 1 , 0 ), (1, 1) 线性充关.但不 正交； （0,0), 

( I , 1) 正交.但不线性无关 * 

2.5.3 如果 1 ,则 x 2 ;^ = —JCiyi ,或 

n + Ayi = 0, 

2.5.4 如果 i — / ,则 f 的第 i 行第/列处的元素为 
零， 

2.5.5 v ^ Ui — O , o 2 r V 3 = 0. 

2.5.6 解 w + u + w =0, w-u = o ,得知 （ 1 , 1， 
- 2 ) 的任何倍数交于题给的两个向量。_正交单位向量组是 

(1 , 1 , 1 )/v/T, C 1 . - 1 . 0 )/v/T, (1 , 1,-2)/ 

a / 6 „ 

2.5.7 W ；. = ( 0 , 0 , 0 , 1 ) ( w 3 = ( 0 , 0 , 5 , -4)。 

2.5.8 V 门 W 中的任何一个向量都应该正交丁+它自己 a 
2.5.9 解 tt + w +2 w =0, w +2 u + 3 w = 0 ,得所求正交补 

为由 （ 1 , 1 , 一 1) 生成的直线 n 

2.5.10 X + y _ Z = 0就是所耍的方 程组。 

2.5. U 取 y 为 b 的左零空间的补„ 
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2.5.12 2, — 1 ) 是化零空间的一个 基底； （3, 3, 

3)-(1 r 1, 4) + (2, 2, - 1 )^ X r + X, a 

2.5.13 当且仅当 _ vjT _ 交和屮的每一个向量时，它才正 
交于 v + w s 因而它晃在 Vi 和的交中， 

2.5.15 从2到3 ,从3到1 ,从4到 I 和从2到5的压降都 
为5,从3到4没有压降， P 3 = P 4 = 5 „从1到珧跃了 10,由此辟 


匕=10。 

2.5.16 从1到3的电流是7 = 3,—半经2流回，一半经4 


流间，2到4无电流. 

2.6.1 VflW 是双对角线矩阵空间，主对角线和第一条次时 
炜线以外的元素全番为零 } 维数是7„ K + W 是第一条次对角线队 


下的元素都为零；维数力13。 V 的维数为 10, VV 的维数也为10„ 
2.6.2 如果 x = so + w ， 且 x = i /+ w ’ ，则 w + w = a ’+ w ’ ， 
或宥最后这一向量同时属于 y 和妒，因而它必为' 


2.6.3 -种可能是： W 由 （1 ,0,0 ,0)和（0 , 0, t ,0) 生 
成.连冏题给的，这四个向量是线性无关的. 

2.6.4 向量〜和^是卩+珂的基底； Vfl 砰是一维的， 
它由向 ( = vy J — w 2 ) 生成。 



: . 6 . 7 令 A =〔0 0 L B 


0 

' _ 0 / 


则孕 B=C0L v ( AB > 


=1 < v ( A )= 2 . 
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2.6.14 假定 y 在龙 ( S ) n -^(4) 屮，这样对某个 * 和 A 尸 》 
- 4 iy ^ Bx r 那么 ABx =0, 从而 X 在 ./ T ( AB ) 中； 但是这等于 
^( B ), 因而 Bx =0, 这样淡 ( B ) fl .， U ) 中的仅有向量是？= 
Bx = 0 „ 

2.6.16 (1>对任何的5=1 j 都有 AB = 0，这样就 


m —个二维化零空间 .（ ii ) 如果 B 


'a .& * 

. 2 q 2 b }' 


fa b 

这是一个二维子空间（值域 ）„ 


则 


第三章 _ 

3.1.1 ( a ) a T b =2 v / ^ T < S o 1 ■ 1 b il = x+y ( b } i x + 

y r<( iu n + b n 1 是与 x r x+ zx r y + y T y < + 2 u 

!!^ e + y T y 相同的，而后者就是 Schwarz 不等式 x T y < 11 * !l *b K 

3.1.2 把它加在方 Jg (5) 上就得 出&4, 


它逛斜边的平 方- 


3.1.3 P =( a r b / a r a )- 0 =^-( 1,1,1); 另一个射影是 


{b T a/b T b) -b, 

3.1.4 在两种惜形下它菇等式：角是0或余弦是1或 _U 
并且误差 & P 为零，因为 b 与它的射影 P 相同. 

3.1.5 0逛余弦为 I/V" ^的角《 

3.1.6 对毎个/ bj *+ tf ),[ 2 —2 \aA - 1&>| =( | a >| — | bj | ) a , 
从而不能是负的》 

a .1.7 Z- 1 的较 冱被 证明是 CAO -i , 如杲它与 d -* 


是相同的。 



AB= [ 1 0 卜⑷) ' 

例如 a =( : j . 

到这些顶点的典型的射线是 -~, — ^) 

— y ), 它有余弦 COS 0= U T W / jw|M P [ =^ y * 

7=151, 

7=2, 

W= w"=^—., ¥ = 3 . 

E * = (w — l ) 2 + (y —3 ) a +( it + v —4)' 

dE l /du = 2(u—\) + 2(u+v~4) , dE 1 /dv=2(v~Z) 

+ 2(w+y—4), ~u = l , *u = 3 . 



Ca)(/-P) 1 = f-2P+P 1 = ?*-P ； ( ； -P) r = J-P r 
= /~ P a 

(b)(P l + P 1 ) ;I =P l 1 + P 1 P a +P i f* 1 +P 1 1 =P a + 
^^( P .+ Pj ^ P ^- i - P ^^ Pi + P ,. 
(2P-/) l = 4P 1 -4P + 7=i 
P i ~UU T UH T =UU T =P 因为⑽ r =l, «W T 对称 . 






1 - 1 ；f C 1 - 3 

^ 3 * 1 1 1 1 o J = -i 

l 1 2 _ j 

c —2C r d — 2+ t 是最佳的而且实际上经过全部 

四个点 ： £ s = 0 而且 b = P , 因为 b 在列空间中 s 
3.3.2 射影分别是 2ai 和 2a s; P =2oi+2a ： s„ 

3.3.3 此射影是 一 a ,; 和 2 aj +2 〜一 a 3 =( 0 ， 3 . 0) 是 b 本 
身；到整个空间上的射影算子是单位算子。 

3.3.4 (Q 1 Q l ) T (Q i Qz)-Q^Qi T Q i Qi-Qi T IQ i -I 

3.3.5 Q T •Q=(I — 2uu' r ')(I — 2uu T )=l — iuu r + iuu r uti T =^ 
因为 1^1*= 1 „ 

3.3.6 第三个列向董是 i :( l , -2, l )/ v ^6" 

3.3.7 (I v j| : = (d + … ■K'M) r C>m + … + H) 

=W?i + … + M + 

3.3.8 (? 是正交的， 

3.3.9 q l =a l , g a =a t —a y , =a s —a z . 

f ° ° 1 1 

A=\ Oil 
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所以下一个 Legendre 多项式是 f 一 


3.3.19 水平线 

3.4.1 若 A=0, 则行空间是 0, ^ 0 £LA^^ 0 

3*4.2 A —f lc I 1 1 1 = lTt7 . 




?CH = 


A x =： 


( II - 


，4‘3 A + = A \ 因为的最小二乘解是 


, 4.4 U v 


3.5. J 山 （5 S ) 式，十 l )=- il - 

5 ' 

3.5.2 如果 0^)# 帅 = 0 , 或初 ！+<:*= 0 C 与 d 是 W 
—垂直的 ； II £> B || n f b U 

3.5.3 ^=~, ffl 3.9 的倒换。 

3.5.4 任何正交矩阵， 

笛四章 

4.2. j det2A^2"de tA ； det — A —( 一 i 〉 *det 山 
detA £ —(detA) 2 , 

H 2 性质 （5) 和 （！） 包含性质 （2), 

4*2,3 eje tA == 20 f de t -4™ 5 * 

4.2.4 de tA T ^ dctA , det (- A ) = (- l ) 3 detA , 因而 deM 

=- dt ' 1 .-4：.-" detA = 0 , 
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4,2.5 (a )0 ( b ) l 6 (C )16 ⑷士 C e )16 

4.2.7 detQ T det <3= J - 或 ( detQ ) 1 : 1 ; 单位 立体， 

4.3. ! ti 2 , t , 4 , 3 列；偶排列，因而！ A| = 1, 

4.3.4 U 4 | = — 3, Ua| = 2 , \A Z \ =— 1 , lAtl =(—!)* 

(I - «). 

[ 20 - 10-12 ^ 

0 5 0 J , A -1 =B/20. 

0 0 4 

r 1_i 。 1 

4 . 4.1 0 1-1 . 

I 0 0 1 J 

' 4.4.2 X = 3 , ^ = —1, 2 = —2, 

4.4,3 J =r 2 cos4 ( 令二 0 是赤进）。 

4.4.4 三角形 A' 与 ABC 的面积相等 ， 恰是被移到了原 
点。 

4.4.5 所有的棱都是原来的 3 倍， 

4.4.G 主宂素为 2, 不必进行交换， A 是奇 异的. 

2 b 

^4.7 从 n = 2讨讼起，排列足奇，奇，偶，偶，奇，奇等 
等 。 ft + 1的情况不同于 ra 的，只是增加 n 次交换，把+ 1从右 
端移到左端.因而当 n 为偶数时，奇偶性不变 ； 当 n 力奇数时，奇 
偶性变得跟《时相反。 

4.4.8 偶 

4.4.9 线性相关，因为它们的行列式为零。 

第五章 

5.1,1 A = 2 , 乂 = 3 , 迹 = 5 ，行列式 =6. 
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5.1.3 2=—5, A =-4 : 特征值均减 7, 特征向 S 不变. 


5.1.4 CiXj+c^j+Cs 


IKK 


1 f o 1 r 

l 

J L n J L 


5.1.7 若 AC =/ U , 则若 / U =/ U ，则, 
■■AA~ l x^( i A~ 1 x=r 1 x . 

5.1.8 选取 A = 0. 

5.1.11 det ( A - W)=detOT — Ar ). 


^ i =2, 夂 = 0 , A z = ~ 2 . 

S 的列向量是欠 A , S ' US^diagCO , 1 ,3). 


5.2.3 A =0, 0, 3： S 的第三个列向量是 1 的倍数， 


{余的列和它正交. 
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r 0 士 1 波士顿 

,3.4 A- 0 ir ir 洛杉矶 

^ i - i 0 ^芝加哿」 

.3.5 在稳定状态，每个昆虫都死了 


特征位在对角浅上， tVc ；；<-4, 两个 均负。 


.3.8 A 丨 01 1 > — 寸不 fe 定 > 


5.3.9 如果 A ； fi 递增的，则订更麥的产品在生产中被消耗 R 
从而净増丧必定 放慢， 


A a = 0 0 0 
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1.2 特征值为 4 = 1 符 U = 3 


1,3 A 1 — 0 j 八 2 二 一 2 ^ X i : 


u ( r )= c , x 1 - hc ^； e ' £| , 


' f 2 ' 

—♦ -? 

I 2 _ 


5.4.4 替换给出扣/ 出二 Ap v^e u v il =e u S^ 1 u a 

5.4.5 e iA e HA ^{ Se i ^ S ^ 1 )( Se > t / S - i ')^ Se ( " e SA S~ l =Se * + *^ J S~ a 

=f \ 

5.4.6 -^— (^iv.+--)= : -~~ l — yi+^i d ^ t l + … 

5.4.7 A 有虛特征值，从而是中性稳定的 D 

5.4.8 A 有;1』=夂=—1当 r =〜时，是衰减的； 

, + /有4 1 = 1 , A s = — 5,所以当 t = 0不是直拔衰减的， 

5.4.9 这个系统是不稳定的， 

5.4.10 « =f 0 IcosH-f - 2 


5*4,11 u=— 一 cosv 6 f 十 - 


;,4.12 P z e° l x^-PFe *x+Ae 4 或 （4 —PF-PU)x: 
f 1 1 If sinf 0 1 

、 4,1 "4 … 1 j[0 sinv^3Vv yj 
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— 1 f sint+sinv^ 3 3 1 

~ L s in * _ sinv / 3 (/\/ 3 J . 

5.5.1 整个练习在单位圆的外部 D 

5.5.2 它是实的；它也在单位阏上；它也在单位圆上；它在 
半径为 2 的圆上或其 内部。 

5.5.4 | x | = 6 = | y ]| , X H y= — l 2 . 


5, 5.5 


C = 




1 0 c-c fl . 

o i K 






= 0 如果 


x 是 一 I 的倍数的话：这个向量与的列向量 U 的行向量）不 


正交，但与為〃的列向量正交， 

5.5.7 A =1 I, x=\ 1 ], 


5.5.S 


( o d ]• x= [!} 

J t — - I ^ X l —^ ^ . 

[I} 1 


积为零，因力特征向量足正交的。（性质 
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5.5/J 


u 二 j iA/T o 

iA / s " i,V 


tfs /^ 



— 「 —e— _—g 一 I 


5,5.10 行列武兑峙职 E 之织. 

5.5.12 1 不菇一个狩征值，阁为它不菇虛的. ( 

5.5.13 K =|^_ 1 ^ |, ^ 由 1' 它必定 

是 虛的，又因为 K 和 x 忍实的它也 ,2: 实的. S 此 只能为零）. 
5.G.J4 K ^(Z-Z n )/Z^ -K ,! ^Z^AA-K, 


/I ;::， 


I a j [ ： j - ; 5 

5.0.15 (UV) >! (PV )^--V !I U !I UV^V 7, lV^l. 

5.5.：6 行珂式是持征值洁乘积，从而 / U … V 的模是 IA ,] … 


U »[ = 


我 n 可以汀 

r ^ 

U - 

0 


: mu =： n ； 

l - 1 :.! u 何有 £? W 九 
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5.5.17 最后一列是 （1 ， 一 2 , 可乘以任何（复或实 


的）模1的数。 
5.5,18 A : 

e Kt - 


0 1 

\ 2 i ,: 


=S€ At S^ 
0时 


+ e " 


■1+e 川 

i + e in 


当 * = 0时 
6.5.19 A 的对角元素为 


K . 


或_〗：有八种可 能性。 


5.6.1 C , 

或 CsOfM')- 1 . A . (MMO 
与 J 禎似的矩阵只有 M-WMs〗. 

5.6.2 (3.1) 元素是 gcos0+fisin0, 当 tcos0= — gA 时它为零. 
6.6.3 令财=八；则 AT l (AB)JM = B4 相似于 AB. 如果它们 

的特征值相同，则它们的和即 ； 迹也 相同- 如果 AB 和 BA 有相同的 
迹，则 ZB — 的迹为零，从而不能等于I, _ 

5.6.4 ^ = - 1具有单位特量 （ 1 , 1 Y /^, 它将置于 
C7 的第一列，而第二列（~!, 1 )*772 使得1/成为酉矩阵，则7 = 

tr*A[7 = [ j» T 有另外的可 ■能； 用7代替一 7或者 

把 2 与_ 1互换。 



1= 0 ,所以 P ( A )=0. 



1 

1 】 A/T 1/\/~6" 

i/v/T 

5.6.7 t；=| 

0 — 2/\/ 6 

l/v/3 

1 

[ -i/v/2 1/ s / e ' 

1/VT 

前两列也可以趙 ^ 

=(U - l t Q ) T / x /~2 

^ = (1 


.2) V/T 


( 或很多其它的可能性）但总要有 

X 1 X l if + X z X 2 !l = I~X 3 K 3 


5.6.8 ( i ) TT « = t /' l A [/ C ； M ff ( U~ 1 ) ff = / ( ii ) 若 T 是三角 
的又是酉的，则它的对角元素（特 征值） 必定是模1的， 从 而若列 
向量是单位向量，那么对角线上方元素必定为零， 



5.6.11 若 N^UAU- 1 , 则 {UAU^ 1 ) = 

UAA H U B =UA lf yiV Il --^(UAU~ 1 ') lt (,UyiU^ t ) = N ,l N, 

5.6.12 当 

5.6.13 M - J r s M = 0 , 所以后两个不等式是明 显的 ： Mh 
= J : M 使 M 的第一列为零，所以它不能是不可逆的. 

5.6.14 / 1 是4乂4块：八是3 X 3和1 X 1矩阵；：^是2 

X 2和2 X 2 矩阵；八是 2 X 2 , 1 X 1和1 X 1 矩阵； J 6 是四个 

1 X 1块= 0 „八和6各有两个特征向量《 

第六章 

6.1.1 ac ~ 6^ = 2 — 4=— 2； / = (^ 2 X + \/ 2 y ) 1 — y 2 1 

6. U 2 否，否，是（非定，正半定，非定，正定）。 

6.1.4 二次导数矩阵具有如下形式 (极小）， 
r -2 oi — 


0 
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(极大）. 



6.2.1 半定，半定， 正定： V 於 =0+ w) s + M a 

6.2.2 如果 — 音， detA— 1 + 2a l ff — 0 1 — 2a l < 

0 . 

6.2.3 若矩阵 A 有正特征值 A f .则矩阵之诸特征值等于 A ?, 
而矩阵 / T 1 之备特征值等于 1// U , 它们均为 正值； 用条件 

6.2.4 ， X r Ax >0, x r Bx > 0 ,则; c T OH " S ) «>0 ;条件 


6 . 2 .! 


14 ： IM ： 


_女 


W 斗 1, 

VT 

-^-4=1 3 J ： 

\k/ Z \^2 ) 

1 1 


故万17 = 


^2 




!或 w=\/yl (? r 


e .2.6 


X __\ I + v^T i - v ^ T ] 

2~L 1 +^Yl 

R r = Qi^A ) T Q r = R , 

= Q〆：5g r <?v/7<? r = QAQ r = A (因为 Q r O=0 • 

6.2.8 x a Ax = x B {a + mx , 若左側实部为正，则狀之 

实部亦为正 ； 因此，《>0.另一方面，矩阵 A = l : 具有正 
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特征值，但 + A 不避正定矩阵^ 

6,2.9 若对 所冇非 0 向量 x , 均有 x T Ax < 0 ;所有 0 ; 
矩阵乂〃行列式之符号交替变换 (: 并非 detAx' 0 ! ); 负主筇； 
-W r W, 则矩阵 A 为负定的. 

6.2.10 夂=1 ,又 2 = 4 ,两半她通过 （ ± 1 , 0>和（0, 



6 . 2.11 A^\ 3 二^ 2 ,特征值为 1 和 4 * 

l-x/2 2 J 

6.2.12 —个0特征值使椭球变成平行于第三轴之无限长的椭 
圆柱乂 1 ：^ 1 +夂;^=1 ;两个0特征值给出两个平面 yi =± lv ^7; 三 
个0特征值导致等式 0 = 1( 图形不存在）。 



面为一圆柱（参阅练习6. 2 .! 2 ) B 

6.3.3 矩阵 q ^ j, 和 A 本身一样，具有 正的和 

0特征值； cCf)= (o f j )' 

6.3.4 矩阵 A 之最后一个主元为负，但矩陴 A + 2 I 之所有主 
元均为正. 
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0 p +/ 
2 i -1 


移至 v / 丁位置，而较大之质量将永远移不出其初始位移 1 之范围 • 


+ 3 ‘ 7 - 0 一 ！ [ 。 } 0”=- 又 1 

I A — ± i * 

'* 4.1 P=xl-x 1 x z +xl—x ii x i +xl — 4x 1 '-4x 3 ^ 

dP/dic l =2x t —x i — 4 , OP/dXi = + 2x s — f 

dP/dXs^ —x 2 + 2 ； c a — 4 。 

;.4.2 = 0 , dPi / dy — ^ +2 y — 3 — 0 , X = 

y = 3 . Pz 无极小值 （ 令閃 ）* ii 对应于非定矩阵 


6.4.3 最小化 Q 导致正规方程 

6.4.4 R ( x)=ai x , 故 A , = minK (；«)< A " 给出 it ( x ) 

— Oii^Ai „ 

(5.4.5 最小值为 /{(>)= 1 , 其中 jc =( i , 1 ), 

6.4.6 因为对所有非 0 向董 JC 均有 , 故数 Y (4 + 
将大于 

6.4.7. 若 （為 + B ) ;x = hx , 

则夂十+ 口: =&“ 

6.4.8 极大值等于 

6.4.9 因为夂 = i , 故 A 应竽足球（橄榄球）， 
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6.4.10 当消去两行和两列时，原始八 a 
6.4.11 =3.2<3 < 2 +^ J \ 

6.4.12 极限子空间 Sy 楚由前/个特征向量生成的， 

6-4.13 >在与向量2正交的子空间 S, 上取极大值， 

(5.4.14 令欠=(1，0,…， 0) r , i/bii. 

6.5. L (图 6,6 中 V 4 T 之商积），方程组 

Ays=b ^^-yj^ + 2yj~ yi + I 
h 

__ — (x—h) +( JC — 私 ) 1 + 2 x— 2 x t — ( JC + h ) + (JC + fc) a 


6.5.2 P ( y ) — P (6)=~- y T y — y T b+~—b T b 

=4 - Hy-H 

在测试函数上最小化 〆 的同时，我们也®小化了 P ( y )~ P ( b ). 
即至&之距离。 

6.5.3 y(i =54/5> Aj = jt s , 

6- 5.4 由极小极大原理得知， / U 为所有二维子空间上之最 
小值；可使此最小值有所增大，因为和应的二维子空间应当位 
于试验函数空间之内^ 

第七章 

7.2.1 若矩阵0为正交的，则 || Q I ! = m ax |] Qx \\/\\ x \ 
=-1,因为(?对每一个 x 保持长度： !| Qx || = !| x I ! „矩阵 G — 1 也 
是正交的。且其范数等于1,故 c ((?) = i , 

7- 2.2 关于向量的三角不等式给出 || Ax+Bx |[ < M * I ! + 
If BX H , 且当我们将每项均除以 || X || 并使其最大化时，我们将得 
到矩阵范数的三角形不等式， 
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H 3 根据矩阵范数之定义，我们有1|4似 
II Bx I !,由此得 II fix il < II 5 II II X II . 除以 i \ x \\, 并使之最大 
化，我们得到不等式 II Mil < ii a II tl B )1 . 对于逆矩阵，也是如 
此， HB - U -* IXIJB ' 1 !| M ' 1 ]| „ 将这些不等式相乘，得 
c(4B)<c(A)c(B)„ 


N2.4 MU 


t ! A If =3, c ( A ) = 3 t 取 = 


'l ' 

1 y 


(5 b = x ,=|^ ^ j . 

7.2.5 根据范数定义，我们有 Mil = max || 办 || / Hxll , 
若将所研究的特征向量选作 \ 则 II Ax !| = W ||*1!且比值等于 

UI . ' 


r .2.6. A T A = 


i 100 
100 10001 


100022+ J 


Amax =500 I + (5001 a - !)<-. 范数等于此童之平方根，且与. 
1 UH 是一致的， 

T .2.7 矩阵和 A / l T 具有相同的特征值（甚至在矩阵4为 
退化矩碎的极嬝情况亦是如此），最大特征值等式给出 II A 1| 
= H A T |j . 

7.2.8 因为 A = W r W , A~ l = W * 1 ( W r )- 1 , 故 1|必11 = 
ijvnr , = ik 妒 1 rMi *= (根据上粗，转 

置矩阵具有罔样的范 数）。 因此， c { A ) = ( o ( wy ). 


7.2.9. 





100 


I ,而 c ( i ) 和 c ( U ) 近于 HT * 



0.01 1 
0 -100 


o ( A ) 接近于 


7.2.10 



,则办: 


,II Ax II ./ IIxH a 
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= 7 ;这 是极限 情况， 所以 II A | U = 7 . 



Ui= ^{ 25 24 j[ 4 Y[in 

7,3.3. … b_y) = v. 

为证明等式应当或将 \ y 交换位置，或讨论等式 H ( fJ ：0 = 
= Hy 并利用关系式 = 

7,3.4* A « 5 , w =| ^ H ^ 

r 1 0 0 , 




0 ) 

L2 

25 

16 _ 
25 
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7,3.6. 


QoR 


六 : 


j r 2 1 1 

2 J X 




5—3 


7 + ： 


cosO 

sin 6 


sin ^ 

0 


: J* 

=QR 


_ costf ™ sin 0 ， 
_ sin9 cos^ ^ 


KQ = 


I cos^sinS 1 

0 - s \ n l 9 J ' 

cosi)(l + sin 2 0) 一 sinM 1 

、 —sin^® —sin 2 ^cos0 j 

7,3,3 矩阵 A 为正交矩阵， m = A f 又重新得 RQ ^ A , 

7,3.9 设 ( G , ……化)为矩阵 A [之 <?J ? 分解，当 
K=I 时，这在任何情_况下都是正确的.根据给图得1 + 1 =心(^, 
即左侧乘以 （ Rjr-r-K。） 并 
利用我们所做之假设，得 h …札 =包…沉将矩阵0移至等 
式左侧，便得矩阵 A ff+1 欲求之结杲. 

r ° ^ ° 1 

7.4.1. D - i (~ L ~ t />- 女 0 士 ， 

L 0 女 0 J 

#1 = 0 , ±七 

(X)+L)- I (-17> = [ 0 士女 j, 

1 0 -k -i- J 


特征值0,1, 


Y ! 


^oPi ~ ^ _ 2 v ^ 2 , A m ,i 


2 v / 2 ssO .2。 
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7 , 4 . 2 矩阵 J 在与主对角线相毗邻的对角线上之数为其余 
各处均为 O f Jx l ^^<isin 2 jrh t sln^^ + sin^h r -0 = ( cos^h ) 

7.4,3 Jx fr = (sin2fcjrfi, sm3fcjrft+ sink^h f …) 

=( coskJrh)x tt 

7.4.4 圆 心为〜 之圆.如果其半径 n 小于! aj 的话，是不会 
到达0的,因此，0不是特征值且对角占优矩阵不可能是退化的. 



各半径等于 r 1= |, r 2 =±； r s = 冬； 各圆的圆心位于 0 点，故所 

0 4 b 

有之 UJ < u 

第八韋 

本书第八章主要是根据俄译本转 译的。 原作者为俄译者提供了 
该章原文之补充修改塙，本稿中之问题，这里没有给出答案——译 
者注。 

8.1.1 角位于 (0. 6), (2, 2), (6, 0) 等请点：见图 8. 4。 

8.1.2 J ； 十 y 在点 (2, 2) 最小，价值等于4; 在点 (0, 6) 

最小，在这点价值等于6; 0 r 时， x — y 之最小值为 

~ 00 a 

8.1.3 约束条件给出了 （2 ；X + 5; V ) + 2( —3 ?C + 8 y)<a -10, 即 
31 y <~ l , 而这与条件；^>0是矛盾的。 

8,1.4 取欠与 y 相等，且足够太。 

8.1.5 不等式 JC >0， y >0 , x + y <0 只有一个容许点 
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8.1.6 容许集为平面 x + y + z = 1 中之一等边三角形，其 
角位于点 O , y , z ) = ( i , 0 , o),(o , 1 , 0 ), Co , o . 

Or 最后一角给出最大值为3。 

8.2.3 r =[ 1 , 1 ], 故角为最优者， 

8.2.4 r =[ 3 , —1], 故矩阵下之第2列进基，此列为》 


r 0 1 f - 2 ' 

.且向量为负，所以， 

1 L- 1 


棱具有无限长度，最 


小价值等于 一〜。 

8.2.5 在点 P 有 r =[_5, 3]: 在点 Q , 有 r =[5/3,— 1/3〕 
在角点 R 有。 

8.2.6 ( a ) x = 0 , w = 6时是非负的，满足方程十 w = b 并 
且是一 个基，因为^=0补充 n 个0分量. ( b ) 辅助问題是在条件 
*!> 0 , 0 , Wi > 0 , 3!,— A+we 3之下最小化 W !, 第一 

阶段向量〜=〜=0, Wl =3； 其最优向量为心_= I = 
w t *=0. 最优角点在1=3,处，容许集为过此点且斜 
率为1的一条直线„ 

8,2.7 终止准则为 r < 0 : 若该准则不满足，且第 i 个分量 
为最大，则矩阵 F 的相应列 进基： 规则 8 C 对于离基向量是同样的. 

8.3.1 在条件0 ,下， 

极大化 + ^ i *= 2 , X ,*= 3 A * =4-， 


价值=5 . 

8.3.2 在条件0 , 1 下，极小化31; y / = 0 , 

y f *== 3 , 1 ,价值= 3, 

8.3.3 在对偁问题中，我们在条件 3 V & C 5 •之下极大化向 
量 y == c 和; c = b 为容许向量并给出相同的值 cb , 故根据 8 F , 它们应该 
是最优的。如果 (^<0, 则最优解 X •变为（0,&:，…, lO T 和 y ’ = (0, c 2 , 
…， q ) r _ 
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8.3.4 A =〔_ I 〕, b =〔 l 〕， c = 0 为不稃 许的； 在对偶问题中， 
我们在条件0和 - ly <0 之下极大化 y , 此问题是无界的. 

8.3.5 b =〔0， i 〕， c r =〔一 1 0〕。 

8.3,6 如果 X 很大时，那末0 ；若0 ,则 ： M 
<0且：^>0„因此，两问题均为容许的„ 

8.3.7 因为以= 3 =，6,根据 8 F , ;(和 y 为最优。 

8.3.8 113 1 r>&=c i 1 i 1 r , 对于第三分量 
冇严格不等式；因而 y 的第三分量应当为0。同理， yA=C 1 1 

! 1 3< c=C 1113), 严格不等式使1=0。 

8.3.9 ；(. =〔；〕=/, ( y .) b=l = C jc * : y . A<c 之第 
二不等式是严格不等式,因此，，和 V 屮之第二分逋为0 

8.3.10 A.x = b ^ myAx = yb , 这与不等式 y >0 是否成立无关. 
yA < c 同上一样好致这是因为? c >0, 相比之 T , 我们得 
yb < cA ：。 


8.3.13 诸列构成在 x 柚之正方向和宵线 x=y 之间的一个圆 
锥，在第一种情况下， x=(i, 2 r ; y=(i,i 尸满足所选之可 能性. 
8.3.14 矩阵 


之列， 

8.3.15 



-10 0 
0 —1 0 
0 0-1 



则心 = 0 , y T b ¥> 0 , 


8.3.16 



mA T y> 0 , y r b< o n 


8.3.17 A r y> 0 0 , 由此得 y T Ax>0; 另一方面， 


附录 A 


• 456 • 



0 


A.l CA 〕: 


L 0 0 0 0 12 J 

A .2 但是 〔4〕 r 〔 A 〕 的 （ Ul ) 元素为零 . ”的第— 

个 分量被左移位零化，就像微分中的常数一样. 

义 .3 转置令 h 和〜 不变， 而 h 与 u a l ： 换； 


〔 A〕= 


s 0 

o a 

L I 

0 0 


0 0 ^ 

1 0 〔 A 〕* 二 j 因为转置的转置为 

0 0 

0 I / 


原矩阵， 


A, 4 


0 


( A ) 


2 

0 


0 0 0 ^ 

1 0 0 

0 0 0 I 

2 0 0 ' 


九 5 任何 解都是 Ox — 1) 次多项式，所以 S _ = 广- 1 其基为1, 


A. 6 




1 0 
0 — 1 


CBA> 



关于7轴的镜反射. 


A . 7 ^ : ; j : -个 射影的 所有特征值为 0 或“ 


A . 8 





0 


0 
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-=8 e at ( te , + 


名词英汉对照表 


A 


Adjugate matrix, 


转置伴随矩阵 

Algebraic multiplicity. 


代数重数 

Almost periodic^ 


槪 周期的 

Alternating direction. 


交巷方向 

Alternative, 


交错的 

Atigle, 


角 

Area, 


面积 

Arithmetic mean. 


算术平均值 

Associative law ， 


结合律 

Attainable, 


可达的 

Average error, 


平均误蝥 

Axes of ellipse ， 

B 

椭跚轴 

Back-subsdtution 


回代，反向代入 

Band matrix, 


带状矩阵 

Bandwidth, 


带宽 

Basic solution, 


基本解 

Basic variables. 


基 本变量 

Basis, 


基底，基 

Block multiplication^ 


分块相乘 

Block power method, 


分块幂法 

Eoolear algebra, 


布尔代数 

Euniakowsfcy, 

C 

布涅可夫斯基 

California, 


加，利榀尼亚 

Cauchy^ 


柯西 
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E 


form. 

Economics, 

Edge* 

EJgcnspacc, 
Eigenvalues ^ 
dlsttrcr^ 
repcatiJd ■ 
Eigenvec^of, 

generalized^ 
Elcmeniafy matrices ， 
Elementary operation. 
Elimination 

Gaus*-Jordan, 
Gaussian , 
Ellfpsoid, 

Epidemic, 

Normal cquaHoiM, 
EquUibtfum. 

Error, 

Even pemttuiioa, 
Exchatjge, 

ExifftencCr 

Expa^«jon \n cofactofs t 
ExponentiaU 

Factor analysis » 

Fttctorination 
LDV t 
LU ， 

rif , 

QR , 


阶梯形 
经济的 
棱，边 
特征空间 
特征值 
相异特征值 
S 恃汪值 
特征向 fi 
广义特征向 fi 
初等矩阵 

初等变换，初 等运® 
消元法 

高斯一若当消元法 
高斯消元法 
椭球面 
传染 
正规方程 
平衡的 
■误差 
倜排列 
交换 
存在 

余子式展汙 
指数 

因子分柝 
因子分解 
LDU 分解 
LU ^ 
iTiT 分解 
(2 R 分解 
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Qi - TQ /. 
: asible set» 

■ bonacci ， 


inite differences, 

ilippov , 

initc elements. 


looting point. 


orsythe» 


ourier terica, 
redholm, 

'tee variables . 


'requency, 

? unction space^ 

'undamcotal subspaces, 
vmdamental theorem, 

G 


ale > 

aloisj 

rame theory. 


^ auss . 


^uss-Jordan, 

rduss-SeideU 


faussiui elimination , 


rcncral solution , 

rcneratiicd eigenvalue problem, 

fene rail zed Inverse, 

renes , 

rcometric multiplicity, 
rerschtorin* 


QpQi 1 ■分解 
可行集 
斐波那契 
有限差分 
菲利波夫 
有限元 
菲克斯 
浮点 
插斯兹 
前向替换 
富里哀级数 
弗雷德霍姆 
自由变置 
頻率 
函数空间 
基本子空间 
基本定理 

加利 

伽罗华 

对策论 

高斯 

高斯 一若当 
高斯一塞德尔 
K 斯消元法 
一般解 

广义特征值问思 

广义逆 

基因 

几何重数 
吉斯伽林 










里昂捷夫 
® 性组合 
线 ft 相关 

线性无关、线性独立 
线性规划 
线性变换 
tt 线性 
角 

LU 兰解 
nra •解 

勒贝格 
里雅普诺夫 


马尔可夫过程 

质蕭 

矩阵 

转置伴随矩阵 
带状矩阵 
系败矩阵 
消耗矩阵 
相关矩阵 
有缺陷的矩阵 
指数函数的矩阵 
埃尔米特矩阵 
海森凿矩阵 
希尔伯特矩阵 
幂等矩阵 
单位矩阵 
病态矩阵 
关联矩阵 




cgatlvt, 

tngular, 


若当矩阵 
非负矩阵 
非奇舁矩阵 


normal, 

orthogonal, 

payoff, 

positive definite, 

projection, 

representing, 

semidefinhe ， 

similar, 

singular, 

skew-Hermitian, 

akew-symmcinc, 

square foot of, 



triAfigular, 

tridiagonal, 

ui^tary, 

Maxi min T 
Maximum， 

Mean, 

Methane, 

Minimax, 

Mini max tbeorem, 
Minimum, 

Minimum principle. 
Minor, 

Mixed strategy, 
Modulus, 


正规矩阵 
IE 交矩阵 
支付矩阵 
芷定矩阵 
射影矩阵 
表苯矩阵 
半定矩阵 
相似矩阵 
奇异矩阵 
斜埃尔米特矩砗 
斜对称矩阵 
矩阵的平方根 
对称矩阵 
转置矩阵 
三角阵 
三对角矩阵 
酉矩阵 
极大极小值 
极大值 
乎均值 
甲烷 

极小极大值 
极小极大定理 
极小 

极小原理 
子式 

混合策格 
槙 







平而旋转 
扑克游欢 
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Row-redtioec echeloia form. 

行化简阶梯形 

Ro 1 ^ space. 

行空间 

$ 


Saddle point r 

鞍点 

Scalar, 

纯贵 

Schuf f 

舒尔 

Schwarz inequality^ 

许 瓦尔注 不等式 

Semjdeflnite, 

半定的 

Separating byperpUne* 

隔离超平面 

Shacow prices. 

影子价格 

Shift, 

推移，移位， 

Similar 

相 M 矩阵 

Similarity traTisformatlcn, 

相似变换 

Simplex method. 

黾纯形法 

Simultaneous dlagonalizatiQQ» 

R 时对角化 
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转移矩阵 



向 S 空间 




